影刀RPA京东商品数据采集实战：价格库存评分批量监控

影刀RPA京东商品数据采集实战：价格库存评分批量监控

作者：林焱

京东是做电商竞品分析的核心数据源之一，价格体系透明、评分数据丰富。这篇把京东商品数据的采集方法完整梳理一遍。

一、能采集的数据类型

• 搜索结果列表：商品名称、价格、销量、评价数、店铺名
• 商品详情页：SKU详情、优惠信息、详细规格
• 商品评价：评论内容、评分、买家秀

二、前置准备

• Chrome + 影刀扩展
• 京东账号（影响价格显示，部分商品未登录显示价格不同）
• 注意：京东的反爬机制较强，操作频率不要太快

三、采集搜索结果页

关键词 = "蓝牙耳机" 打开浏览器(https://search.jd.com/Search?keyword= + URL编码(关键词) + &enc=utf-8) 等待页面加载 // 滚动加载完整列表 执行JavaScript("window.scrollTo(0, document.body.scrollHeight)") 等待(2000) 执行JavaScript("window.scrollTo(0, 0)") 等待(1000) 商品列表 = 获取元素集合(".gl-item") 结果 = 创建列表() ForEach 商品 in 商品列表: 信息 = 创建字典() // 商品名称 尝试: 名称 = 获取子元素文本(商品, ".p-name em") 如果 名称 == "": 名称 = 获取子元素文本(商品, ".p-name a") 捕获: 名称 = "" // 价格 尝试: 价格 = 获取子元素文本(商品, ".p-price i") 捕获: 价格 = "" // 评论数 尝试: 评论数 = 获取子元素文本(商品, ".p-commit strong a") 捕获: 评论数 = "0" // 店铺名 尝试: 店铺 = 获取子元素文本(商品, ".p-shop span") 捕获: 店铺 = "" 设置字典键值(信息, "名称", 名称) 设置字典键值(信息, "价格", 价格) 设置字典键值(信息, "评论数", 评论数) 设置字典键值(信息, "店铺", 店铺) 添加到末尾(结果, 信息)

四、价格处理

京东价格有时显示为活动价+划线价，只取当前售价：

// 京东价格通常只有数字，去掉可能的逗号 处理后价格 = 替换文本(原始价格, ",", "") 处理后价格 = 去除首尾空格(处理后价格) ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/4b5be6fd0a544d17ac6ec239f4a1c14a.png#pic_center)

五、翻页采集

最大页数 = 5 循环 页码 从 1 到 最大页数: 采集当前页(结果) // 点击下一页 下一页 = 查找元素(".pn-next") ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/ec2bbfef584a44699b69141d3fb59433.png#pic_center) 如果 元素不存在(下一页) 或 元素禁用(下一页): 跳出循环 点击(下一页) 等待(3000)

六、踩坑速查

作者：林焱