共计 1340 个字符，预计需要花费 4 分钟才能阅读完成。
痛点分析：传统爬虫为什么失效了？
现代 Web 应用的反爬机制越来越复杂，主要遇到三大难题：
-
动态元素加载问题 ：React/Vue 等框架生成的 DOM 元素通常异步加载，传统爬虫的静态解析方式根本无法捕获完整页面内容。比如电商网站的价格信息经常在页面渲染完成后才通过 API 注入。
-
行为指纹检测 ：高级防护系统（如 Cloudflare）会监测：
- 鼠标移动轨迹是否符合人类特征
- 页面停留时间和滚动行为
-
API 调用频率和时序模式
-
IP 封禁策略 ：单一 IP 的高频访问会触发防护规则，而云服务厂商的 IP 段往往被重点监控。
技术选型：为什么是 Playwright？
对比主流自动化工具：
- Selenium：
- 优点：生态成熟，支持多种语言
-
缺点：执行速度慢，API 设计冗长
-
Puppeteer：
- 优点：Chrome 原生支持，性能优秀
-
缺点：仅限 JavaScript，功能扩展性差
-
Playwright 的核心优势：
- 跨语言支持（Python/Node.js/Java/.NET）
- 内置智能等待（
wait_for_selector等） - 网络拦截和 Mock 能力（
route/fulfill）
核心实现方案
伪装人类行为
from playwright.sync_api import sync_playwright
import random
def human_like_scroll(page):
# 随机滚动 3 - 5 次，每次间隔 0.5- 2 秒
for _ in range(random.randint(3,5)):
page.mouse.wheel(0, random.randint(200,800))
page.wait_for_timeout(random.randint(500,2000))处理 Shadow DOM
# 获取 Shadow Root 内的元素
element = page.locator('parent-selector').locator('>>', 'inner-selector')代理 IP 轮换
context = browser.new_context(
proxy={"server": f"http://{random.choice(proxy_list)}",
"username": "user",
"password": "pass"
}
)性能优化技巧
- 浏览器实例复用 ：每个 Worker 维护一个长期运行的 BrowserContext
- 内存控制 ：定期重启无头浏览器实例（建议每 100 次请求）
- 分布式架构 ：使用 Celery+RabbitMQ 实现任务队列
常见问题排查
- TimeoutError: Navigation timeout
- 增加默认超时：
browser = p.chromium.launch(timeout=60000) -
检查是否触发反爬验证
-
Element not found
- 确认选择器是否正确
- 添加
page.wait_for_selector()
法律与伦理提醒
- 遵守 robots.txt 协议
- 限制爬取频率（建议 >3 秒 / 次）
- 不爬取个人隐私数据
延伸阅读
开放性问题
如何设计支持 OTP 验证码的爬取方案？欢迎在评论区分享你的思路。
# 示例项目结构（模拟）# https://github.com/playwright-scraper-template正文完
