Playwright爬虫进阶：用Route拦截修改请求头，轻松绕过常见反爬策略

Playwright爬虫进阶：用Route拦截修改请求头，轻松绕过常见反爬策略

当你在数据采集过程中遇到网站反爬机制时，是否曾为频繁更换User-Agent、维护Cookie池而头疼？传统爬虫工具往往需要复杂的中间件和代理设置，而Playwright的Route功能提供了一种更优雅的解决方案。本文将带你深入探索如何利用这一强大功能，在请求发出前动态修改请求头，实现高效反反爬。

1. 为什么选择Playwright进行数据采集？

在讨论技术细节前，我们先看看Playwright相比传统爬虫工具的优势。许多开发者习惯使用Requests+BeautifulSoup或Selenium组合，但这些方案存在明显短板：

• Requests局限性：

  • 无法处理JavaScript渲染的页面
  • 缺乏浏览器环境模拟
  • 修改请求头需要全局设置

• Selenium痛点：

  • 资源消耗大
  • 速度慢
  • 缺乏细粒度的请求控制

Playwright则完美融合了两者优势：

from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch() page = browser.new_page() # 这里将演示路由功能 browser.close()

核心优势对比：

2. Route核心机制解析

Playwright的Route功能基于浏览器原生的请求拦截API，允许开发者在请求生命周期中插入自定义逻辑。理解其工作原理对高效使用至关重要。

2.1 请求生命周期钩子

一个典型的HTTP请求在Playwright中经历以下阶段：

1. 发起阶段：页面代码发起请求
2. 拦截点：Route回调函数执行
3. 决策点：继续、修改或终止请求
4. 响应阶段：接收服务器响应或模拟响应

def handle_route(route, request): if "api/data" in request.url: headers = request.headers headers["User-Agent"] = "Mozilla/5.0 (Macintosh)" route.continue_(headers=headers) else: route.continue_() page.route("**/*", handle_route)

2.2 关键方法详解

• continue_：继续请求，可选择修改参数
• fulfill：直接返回自定义响应
• abort：终止请求
• fetch：获取原始响应后修改

提示：continue_方法末尾的下划线是为了避免与Python关键字冲突

3. 实战：绕过常见反爬策略

让我们通过具体案例展示如何应对不同类型的反爬机制。

3.1 动态User-Agent应对

许多网站会检测异常的User-Agent。传统方案需要维护一个UA池，而Playwright可以动态生成：

import random def rotate_user_agent(route, request): ua_list = [ "Mozilla/5.0 (Windows NT 10.0)", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)", "Mozilla/5.0 (Linux; Android 10)" ] headers = request.headers headers["User-Agent"] = random.choice(ua_list) route.continue_(headers=headers) page.route("**/*", rotate_user_agent)

3.2 Referer反爬破解

某些API会验证Referer来源：

def set_referer(route, request): if request.url.endswith(".json"): headers = request.headers headers["Referer"] = "https://target-site.com" route.continue_(headers=headers) else: route.continue_() page.route("**/*.json", set_referer)

3.3 Cookie动态维护

对于需要登录状态的网站，可以这样处理：

def handle_cookie(route, request): if "auth-check" in request.url: headers = request.headers headers["Cookie"] = "session_id=abc123; token=xyz456" route.continue_(headers=headers) else: route.continue_() page.route("**/api/**", handle_cookie)

4. 高级技巧与性能优化

掌握了基础用法后，我们来探讨一些进阶技巧。

4.1 选择性拦截策略

全局拦截会影响性能，应精确控制拦截范围：

# 只拦截API请求 page.route("**/api/**", api_handler) # 拦截特定域名 page.route("https://api.target.com/**", api_handler) # 使用正则表达式匹配 page.route(re.compile(r".*\.(json|xml)"), data_handler)

4.2 响应内容修改

除了修改请求，还能修改响应：

def modify_response(route, request): response = route.fetch() json_data = response.json() json_data["modified"] = True route.fulfill( response=response, json=json_data ) page.route("**/data.json", modify_response)

4.3 性能优化建议

• 避免不必要的拦截
• 使用headless=True减少资源占用
• 复用浏览器实例
• 并行处理多个页面

# 性能优化示例 with sync_playwright() as p: browser = p.chromium.launch(headless=True) context = browser.new_context() # 并行处理多个页面 pages = [context.new_page() for _ in range(3)] for page in pages: page.goto("https://target.com") browser.close()

5. 真实案例分析

让我们看一个综合应用场景：爬取需要登录且对请求头敏感的电商网站商品数据。

from playwright.sync_api import sync_playwright import json def handle_auth(route, request): if "auth" in request.url: route.fulfill( status=200, headers={"Content-Type": "application/json"}, body=json.dumps({"token": "fake_token_123"}) ) else: route.continue_() def handle_products(route, request): headers = request.headers headers.update({ "User-Agent": "Mozilla/5.0 (Macintosh)", "Referer": "https://shop.example.com", "X-Requested-With": "XMLHttpRequest" }) route.continue_(headers=headers) with sync_playwright() as p: browser = p.chromium.launch() page = browser.new_page() # 设置路由 page.route("**/auth**", handle_auth) page.route("**/products/**", handle_products) # 模拟登录流程 page.goto("https://shop.example.com/login") page.fill("#username", "user123") page.fill("#password", "pass123") page.click("#login-btn") # 获取商品数据 page.goto("https://shop.example.com/products") product_data = page.locator("#product-data").text_content() print(json.loads(product_data)) browser.close()

这个案例展示了如何：

1. 模拟认证接口响应
2. 动态设置请求头
3. 处理AJAX数据请求
4. 解析最终数据

6. 常见问题与调试技巧

即使掌握了技术要点，实际应用中仍会遇到各种问题。以下是一些经验总结：

6.1 拦截不生效排查

1. 检查URL模式是否匹配
2. 确认没有其他路由覆盖
3. 验证回调函数被调用
4. 检查是否有未处理的Promise

# 调试用路由处理函数 def debug_route(route, request): print(f"拦截到请求: {request.url}") print(f"请求方法: {request.method}") print(f"请求头: {request.headers}") route.continue_() page.route("**/*", debug_route) # 全局调试

6.2 内存泄漏预防

长时间运行的爬虫需要注意：

• 定期关闭不用的页面
• 清理路由处理函数
• 监控内存使用

# 清理路由示例 page.unroute("**/*") # 移除所有路由 page.route("**/*", new_handler) # 设置新路由

6.3 反检测策略

• 随机化操作间隔
• 模拟鼠标移动轨迹
• 使用不同的视口大小
• 避免完美的一致性

# 随机化视口 import random viewport = { "width": random.randint(1200, 1920), "height": random.randint(800, 1080) } page.set_viewport_size(viewport)

在实际项目中，我发现最有效的策略是模拟真实用户行为。不要一次性爬取大量数据，而是分散请求，随机间隔，并适当处理各种边缘情况。Route功能只是工具，如何巧妙使用才是关键。