2026
11-04
11-04
Selenium,Playwright,Puppeteer 做爬虫有哪些弊病??
selenium,playwright和puppeteer这几个自动化工具很适合采集那些动态加载的网站,比如电商、社交媒体等,需要你点击、翻页才能加载出来数据,它们模仿人工操作浏览器,完美解决了这个问题,这是requests做不到的。
继续阅读 >
PHP 代码分享
MongoDB 教程
正则表达式
jQuery 教程
JavaScript 代码片段
PHP7 教程
selenium,playwright和puppeteer这几个自动化工具很适合采集那些动态加载的网站,比如电商、社交媒体等,需要你点击、翻页才能加载出来数据,它们模仿人工操作浏览器,完美解决了这个问题,这是requests做不到的。
继续阅读 >
其实对于大部分人来说,想要采集网上数据没必要单独去学复杂的爬虫技术,像Python scrapy、JS逆向啥的,学习成本太高,后续应用机会又很有限。我建议直接用现成的爬虫软件,类似于Excel图形界面,只需要点点点就配置好爬虫,还能自动解锁网页验证码、IP轮换等,非常的方便。
继续阅读 >
社区已经在解决 GIL。CPython 3.13 提供了可选的自由线程构建,可以在关闭 GIL 的情况下运行;3.14 将它推进到正式支持、仍然可选的阶段。长期难以直接移除 GIL 的一项重要原因,是旧代码把它提供的保护当成了前提。解释器需要补上新的保证,扩展也需要检查自己的使用方式。开头这三行就是一个具体例子。
继续阅读 >
Pandas、Polars 和 DuckDB 都能在 Python 数据处理中承担分析任务,但三者的执行方式和资源占用差异很大。面对同一份大型 CSV,Pandas 的内存模型容易成为瓶颈;Polars 依靠多线程与惰性求值缩短处理时间;DuckDB 则把文件查询交给进程内 SQL 引擎,并支持超出内存容量的数据。
继续阅读 >
在很久很久以前,Python的包管理非常混乱,这导致不同的项目几乎无法同时运行,所以就出现了Python 环境管理的概念,不同项目的环境彼此隔离,开发者可以为不同项目分别管理依赖项、Python 版本和软件包。弄清其底层工作机制有助于排查依赖问题、构建可复现的应用程序,也便于管理复杂的 Python 项目。
继续阅读 >
Python 3.15 已经正式发布。新版本当然不只有 UTF-8:更完善的 profiler、实验性的 JIT、显式 Lazy Import、frozendict、sentinel 类型、推导式解包等都在里面,但真正可能改变大量旧代码日常体验的,却是一个非常不起眼的默认行为——Python 现在默认使用 UTF-8,而不是跟着操作系统区域设置走。
继续阅读 >
数据分析岗的面试题有一个特点:函数名谁都能背,但能把手里的脏数据收拾明白的才是分水岭。面试官不考你背了多少 API,考的是拿到一份真实数据时你的第一反应和处理思路。下面 8 题,是数据岗面试出现率最高的考点。
继续阅读 >
这不是 Bug,也不是 Python 设计失误。Python 的 // 是向下取整(floor 地板除),不是大家熟悉的向零取整。这套规则和取模 % 绑定在一起,是一套自洽、优雅的数学设计。
继续阅读 >
Lona 就是一款用 Python 写响应式网页应用的“全家桶”框架。传统的 Python 玩网页,99% 只是后台,前端交互啥得自己整 JavaScript。有了 Lona,你用纯 Python 写前端 UI、写交互事件,后台前端无缝对接,省时省力,还不易出错。
继续阅读 >