当前位置：首页 > news >正文

OpenClaw浏览器自动化：Qwen3-VL:30B爬取图文数据到Notion

news 2026/8/20 19:10:42

OpenClaw浏览器自动化：Qwen3-VL:30B爬取图文数据到Notion

1. 为什么需要自动化数据收集

上周我需要整理一批行业报告中的关键图表和结论，手动复制粘贴了3个小时后，突然意识到：这种重复性工作正是AI该解决的问题。于是我开始尝试用OpenClaw+Qwen3-VL:30B搭建自动化数据收集管道，最终实现了从网页抓取到Notion归档的全流程自动化。

传统爬虫面临三个痛点：一是动态渲染页面难以解析，二是图文混合内容处理复杂，三是反爬机制越来越严格。而OpenClaw的浏览器控制能力配合Qwen3-VL:30B的多模态理解，恰好能解决这些问题。下面分享我的具体实现方案。

2. 环境准备与模型部署

2.1 本地部署OpenClaw

在macOS上通过官方脚本快速安装：

curl -fsSL https://openclaw.ai/install.sh | bash openclaw onboard --install-daemon

选择Advanced模式配置时，特别注意两点：

在Provider中选择Qwen作为默认模型服务
取消勾选不必要的预装Skill（保持环境精简）

2.2 接入Qwen3-VL:30B模型

由于Qwen3-VL:30B需要较大显存，我选择通过星图平台部署私有化实例。在~/.openclaw/openclaw.json中配置模型端点：

{ "models": { "providers": { "qwen-vl": { "baseUrl": "https://your-xingtu-instance/v1", "apiKey": "your-api-key", "api": "openai-completions", "models": [ { "id": "qwen3-vl-30b", "name": "Qwen3-VL视觉模型", "contextWindow": 32768, "maxTokens": 4096 } ] } } } }

验证模型连接：

openclaw models list openclaw gateway restart

3. 浏览器自动化实战

3.1 基础爬取流程设计

核心任务链分为四个阶段：

页面导航：控制浏览器加载目标URL
内容提取：滚动页面并截图供Qwen3-VL分析
数据清洗：提取结构化信息
Notion入库：通过API写入数据库

创建任务描述文件web_to_notion.yml：

tasks: - name: scrape_article steps: - type: browser.open url: "{{input.url}}" - type: browser.scroll_full_page - type: browser.screenshot selector: "body" save_as: "page_screenshot.png" - type: vision.analyze image: "page_screenshot.png" prompt: | 提取文章中的主要图文内容，包括： - 标题（h1标签内容） - 作者（class包含author的元素） - 正文文本（排除导航栏和广告） - 关键图表（描述其数据含义） - type: notepad.save content: "{{output.analysis}}" path: "extracted_content.md" - type: notion.create_page database_id: "your-database-id" properties: Title: "{{output.analysis.title}}" Content: "{{output.analysis.text}}" Images: "{{output.analysis.images}}"

3.2 反爬规避技巧

在真实项目中遇到的主要挑战是反爬检测，通过以下策略解决：

人性化操作模拟：

- type: browser.scroll duration: 3s # 缓慢滚动 steps: 10 - type: mouse.move x: 100 y: 200 duration: 1.5s

请求间隔随机化：

- type: wait duration: "{{random(3,10)}}s"

动态User-Agent：在openclaw.json中配置：

"browser": { "userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", "rotateUA": true }

4. 多模态内容处理

4.1 图文联合分析

Qwen3-VL:30B的强大之处在于能同时理解图像和文本。当处理含图表的网页时，使用以下prompt模板：

你看到的是网页截图，请完成： 1. 识别所有可视化图表类型（柱状图/折线图/饼图等） 2. 提取图表中的关键数据点（如最大值、趋势等） 3. 用Markdown表格整理数据 4. 总结图表反映的核心结论 特别注意： - 坐标轴单位要准确提取 - 图例说明必须包含 - 数据保留原始精度

4.2 数据清洗策略

原始分析结果需要二次处理：

去重处理：对连续相似段落合并
敏感信息过滤：移除电话号码、邮箱等PII
格式标准化：统一日期、货币等格式

通过添加post_process步骤实现：

- type: llm.process input: "{{output.analysis}}" prompt: | 对以下内容进行清洗： 1. 合并重复段落 2. 移除联系方式 3. 将日期统一为YYYY-MM-DD格式 4. 货币统一为USD表示 model: "qwen3-vl-30b"

5. Notion集成方案

5.1 数据库配置

在Notion中创建数据库时需要特别注意字段类型匹配：

Title=> 标题文本
Content=> 富文本
Images=> Files & media
Source_URL=> URL

5.2 API接入细节

获取Notion集成token并分享数据库给集成

配置OpenClaw环境变量：

export NOTION_TOKEN=your_integration_token export NOTION_DATABASE_ID=your_database_id

使用官方Notion Skill：
```
clawhub install notion-integration
```

6. 实战中的经验教训

在调试过程中发现几个关键问题：

截图质量问题：最初使用默认截图参数导致文字识别率低，通过调整解决：
```
- type: browser.screenshot quality: 100 full_page: true delay: 2s # 等待渲染完成
```
Token消耗控制：完整页面分析可能消耗大量Token，解决方案：
- 先提取文本内容判断价值，再决定是否分析图像
- 设置预算警报：
```
openclaw budget --set 1000 --unit tokens
```
Notion API限流：批量写入时添加延迟：
```
- type: wait duration: 1s between_tasks: true
```

这套系统最终实现了每小时处理50+页面的效率，准确率约85%。虽然初期配置较复杂，但一旦运行稳定后，数据收集时间从原来的每周8小时降低到1小时检查即可。