当前位置：首页 > news >正文

OpenClaw+千问3.5-9B浏览器自动化：定时抓取指定网页

news 2026/8/2 3:13:04

OpenClaw+千问3.5-9B浏览器自动化：定时抓取指定网页

1. 为什么需要浏览器自动化

作为一个经常需要收集行业数据的分析师，我每天都要手动打开十几个网页抓取价格信息。这种重复性工作不仅耗时，还容易出错。直到我发现OpenClaw这个开源框架，配合千问3.5-9B大模型，终于实现了全自动化的网页数据采集。

传统爬虫需要编写复杂的选择器规则，而OpenClaw的独特之处在于——它能让AI像人类一样操作浏览器，通过自然语言指令就能完成网页交互。这意味着即使面对动态加载的复杂页面，也不需要研究反爬机制，只需告诉AI"抓取这个区域的价格数据"即可。

2. 环境准备与模型接入

2.1 基础环境搭建

我的工作电脑是MacBook Pro，安装过程异常简单：

curl -fsSL https://openclaw.ai/install.sh | bash openclaw onboard --install-daemon

在配置向导中选择Advanced模式，关键配置项包括：

模型提供商选择Qwen
默认模型选择qwen-portal
跳过渠道配置（暂时不需要飞书/钉钉集成）

2.2 接入千问3.5-9B模型

修改配置文件~/.openclaw/openclaw.json，添加本地部署的千问模型：

{ "models": { "providers": { "my-qwen": { "baseUrl": "http://localhost:8000/v1", "apiKey": "sk-no-key-required", "api": "openai-completions", "models": [ { "id": "qwen3.5-9b", "name": "My Local Qwen", "contextWindow": 32768 } ] } } } }

这里有个小插曲：第一次配置时误将baseUrl写成HTTPS，导致连接失败。通过openclaw doctor命令才排查出问题，改为HTTP后立即生效。

3. 构建定时抓取任务

3.1 创建URL列表

在OpenClaw工作目录新建urls.txt，每行一个监控目标：

https://example.com/product/123 https://anotherexample.com/item/456

3.2 定义抓取规则

通过自然语言告诉千问模型需要提取的内容。我在控制台输入：

请创建一个每天上午9点执行的定时任务： 1. 依次打开urls.txt中的所有网页 2. 在每个页面查找商品价格（通常显示为¥xx.xx格式） 3. 提取商品名称（通常在标题标签内） 4. 将结果保存为CSV，包含字段：日期,网址,商品名,价格

模型自动生成了对应的JavaScript脚本，并存储在~/.openclaw/scripts/daily_price_check.js。

3.3 验证抓取效果

手动触发测试时发现两个问题：

某些网站价格显示为"¥123.00~¥125.00"区间格式
动态加载的商品信息需要滚动页面才会显示

通过补充指令解决了这些问题：

请确保： - 如果价格是区间，取最低值 - 执行页面滚动操作确保所有元素加载 - 遇到验证码时暂停并通知我

4. 数据存储与后续处理

4.1 结构化存储方案

OpenClaw默认将数据保存在~/.openclaw/data/目录。我为这个项目特别配置了MySQL存储：

// 在脚本中添加存储逻辑 const mysql = require('mysql2/promise'); const conn = await mysql.createConnection({ host: 'localhost', user: 'openclaw', password: 'securepassword', database: 'price_monitor' }); await conn.execute( 'INSERT INTO prices (date, url, name, price) VALUES (?, ?, ?, ?)', [new Date(), currentUrl, productName, productPrice] );