当前位置：首页 > news >正文

识货商品数据爬取实战：Puppeteer反反爬方案

news 2026/7/31 9:35:18

1. 项目背景与核心价值

去年双十一期间，我帮朋友开发了一个比价工具，需要实时抓取多个电商平台的商品数据。当时最头疼的就是识货这个平台——它的反爬机制相当严格，商品详情页的数据获取难度很大。经过两周的摸索和调试，终于找到了一套稳定的解决方案。今天就把这套方法完整分享出来，特别适合需要批量获取识货商品数据的开发者参考。

识货作为国内领先的球鞋和潮流单品导购平台，其商品数据具有三个独特价值：一是价格波动频繁（尤其限量款），二是用户评价真实度高，三是商品SKU属性详细。这些数据对于价格监控、竞品分析、市场调研都很有意义。但官方没有开放API接口，只能通过技术手段获取。

2. 技术方案选型与对比

2.1 常见数据获取方式评估

先看几种常见方案的优劣对比：

方案类型	实现难度	稳定性	法律风险	数据完整性
官方API	★	★★★★★	★★★★★	★★★★
网页爬虫	★★★	★★	★★★	★★★★
浏览器自动化	★★★★	★★★	★★★	★★★★★
第三方数据服务	★★	★★★★	★★★★★	★★★

经过实测，浏览器自动化方案（Puppeteer+Stealth插件）在保证数据完整性的同时，能有效规避反爬机制。具体优势在于：

模拟真实用户行为轨迹
支持动态渲染页面获取
可处理登录态和验证码
能获取AJAX加载的JSON数据

2.2 核心工具链配置

我的开发环境配置如下：

Node.js 16.14.0 Puppeteer 13.5.2 puppeteer-extra-plugin-stealth 2.9.0

关键依赖说明：

puppeteer-extra：增强版Puppeteer
stealth-plugin：隐藏自动化特征
user-agents：轮换UA防封禁
proxy-chain：代理IP池管理

3. 完整实现流程详解

3.1 环境初始化

首先创建带Stealth插件的浏览器实例：

const puppeteer = require('puppeteer-extra'); const StealthPlugin = require('puppeteer-extra-plugin-stealth'); puppeteer.use(StealthPlugin()); const initBrowser = async () => { return await puppeteer.launch({ headless: true, args: [ '--no-sandbox', '--disable-setuid-sandbox', '--disable-web-security', `--proxy-server=${getRandomProxy()}` ] }); };

3.2 页面访问策略

识货对高频访问非常敏感，必须做好访问间隔控制：

const visitPage = async (url) => { const browser = await initBrowser(); const page = await browser.newPage(); // 设置随机UA和视窗 await page.setUserAgent(getRandomUA()); await page.setViewport({ width: 1280 + Math.floor(Math.random() * 100), height: 800 + Math.floor(Math.random() * 100) }); // 模拟人类操作轨迹 await page.goto(url, { waitUntil: 'networkidle2', timeout: 30000 }); // 随机滚动页面 await autoScroll(page); return { browser, page }; };

3.3 数据提取技巧

商品详情页的关键数据分布在三个位置：

初始HTML中的__INITIAL_STATE__
接口/api/item/detail返回的JSON
页面DOM中的评价数据

提取示例：

const extractData = async (page) => { // 获取初始化数据 const initialState = await page.evaluate(() => { return JSON.parse( document.querySelector('script#__NEXT_DATA__').innerHTML ).props.pageProps.initialState; }); // 监听接口响应 const detailData = await page.waitForResponse(res => res.url().includes('/api/item/detail') ).then(res => res.json()); // 组合有效数据 return { baseInfo: initialState.item.info, priceTrend: detailData.data.priceTrend, comments: await parseComments(page) }; };

4. 反反爬实战经验

4.1 指纹对抗方案

识货使用的反爬手段包括：

WebGL指纹检测
Canvas指纹识别
WebRTC泄漏检测
鼠标轨迹分析

应对方案：

// 在page.evaluate中注入以下代码 Object.defineProperty(navigator, 'webdriver', { get: () => false }); Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3] }); Object.defineProperty(navigator, 'languages', { get: () => ['zh-CN'] });

4.2 验证码处理流程

当触发验证码时，按以下流程处理：

保存当前页面截图和HTML快照
识别验证码类型（滑块/点选）
使用第三方打码平台处理
模拟人类操作间隔提交
失败后切换代理重试

关键代码：

const handleCaptcha = async (page) => { const captchaImg = await page.$('.geetest_widget'); if (captchaImg) { await page.screenshot({ path: 'captcha.png' }); const result = await captchaSolver('captcha.png'); await dragSlider(page, result.position); } };

5. 数据存储与优化

5.1 数据结构设计

建议的MongoDB Schema：

{ itemId: String, // 商品ID title: String, // 商品标题 price: Number, // 当前价格 priceHistory: [{ date: Date, price: Number, promo: String }], specs: [{ name: String, value: String }], comments: [{ userId: String, content: String, star: Number, images: [String] }], updatedAt: Date }

5.2 性能优化技巧

使用page.$$eval替代多次page.evaluate
并行处理多个页面（控制在3个以内）
实现断点续爬机制
对静态资源禁用加载：

await page.setRequestInterception(true); page.on('request', req => { if (['image', 'stylesheet', 'font'].includes(req.resourceType())) { req.abort(); } else { req.continue(); } });

6. 常见问题排查

6.1 高频封禁解决方案

现象：IP或账号被封禁解决步骤：

检查代理IP是否纯净
降低请求频率至5-10秒/次
增加鼠标移动轨迹模拟
更换设备指纹特征

6.2 数据缺失处理

典型场景：

价格趋势图加载不全
评价内容只显示部分

应对方法：

// 重试机制示例 const retryFetch = async (fn, retries = 3) => { try { return await fn(); } catch (err) { if (retries <= 0) throw err; await sleep(2000); return retryFetch(fn, retries - 1); } };