OpenClaw多模态实践：千问3.5-27B分析截图生成周报

OpenClaw多模态实践：千问3.5-27B分析截图生成周报

1. 为什么需要自动化周报生成

每周五下午，我的电脑桌面上总会堆满各种会议截图、任务列表截图和进度图表。手动整理这些零散信息需要花费1-2小时，而最痛苦的是——不同截图之间存在逻辑关联，但人工整理时很容易遗漏关键细节。

上个月尝试用传统OCR工具+GPT组合方案时，发现两个致命问题：一是截图中的表格和图表信息丢失严重；二是不同会议记录间的任务依赖关系无法自动关联。直到发现OpenClaw可以对接千问3.5-27B这类视觉多模态模型，才找到真正可用的解决方案。

2. 技术方案设计思路

2.1 核心组件选型

整个方案建立在三个技术支柱上：

• OpenClaw：作为本地自动化执行框架，负责截图收集、信息传递和最终报告生成
• 千问3.5-27B镜像：提供多模态理解能力，特别是对截图中的表格、图表和文字混合内容的理解
• 自定义技能模块：处理周报特有的结构化输出需求

选择千问3.5-27B而非纯文本模型的关键原因，是其对截图中的视觉元素关联理解能力。例如能识别：

• 会议截图中的任务列表与甘特图中的进度条对应关系
• 不同截图里相同任务的表述差异（如"前端优化" vs "UI性能改进"）
• 图表中的趋势与文字描述的匹配程度

2.2 工作流设计

实际运行时的自动化流程分为四个阶段：

1. 素材收集：OpenClaw自动扫描指定文件夹（如桌面/Downloads）中的新截图
2. 视觉理解：调用千问3.5-27B的图片理解接口解析截图内容
3. 信息融合：模型自动关联不同截图中的相关信息
4. 报告生成：输出包含进度概览、阻塞问题和下周计划的Markdown文档

3. 具体实现过程

3.1 环境准备

首先在星图平台部署千问3.5-27B镜像，获得API访问端点。然后在本地MacBook上安装OpenClaw：

curl -fsSL https://openclaw.ai/install.sh | bash openclaw onboard --install-daemon

配置模型连接时，在~/.openclaw/openclaw.json中添加：

{ "models": { "providers": { "qwen-vision": { "baseUrl": "https://your-mirror-address/v1", "apiKey": "your-api-key", "api": "openai-completions", "models": [ { "id": "qwen3.5-27b-vision", "name": "Qwen Vision", "contextWindow": 32768 } ] } } } }

3.2 开发截图处理技能

通过ClawHub创建一个自定义技能：

clawhub create weekly-report-generator

核心逻辑是处理图片输入并调用多模态API。关键代码片段：

async function analyzeScreenshots(imagePaths) { const visionPrompt = ` 你是一位专业的项目经理助理，需要从以下会议截图和进度图表中： 1. 提取所有任务项及其当前状态 2. 识别任务之间的依赖关系 3. 标注存在风险的节点 4. 总结本周整体进展 按重要程度排序后，用JSON格式返回分析结果 `; const results = []; for (const imgPath of imagePaths) { const response = await openclaw.models.chat({ model: 'qwen3.5-27b-vision', messages: [ { role: 'user', content: [ { type: 'text', text: visionPrompt }, { type: 'image_url', image_url: imgPath } ] } ] }); results.push(JSON.parse(response)); } return mergeResults(results); // 自定义的结果合并函数 }

3.3 配置自动化触发

设置文件监听规则，当检测到新增截图时自动触发：

openclaw skills weekly-report-generator --watch ~/Desktop/*.png --trigger generate_report

4. 实际效果验证

4.1 测试案例

用真实工作场景中的三类截图进行测试：

1. 周例会Zoom会议截图（含任务分配讨论）
2. Jira看板导出图片
3. 本地甘特图截图

4.2 关键能力展示

模型展现出三个超出预期的能力：

1. 跨截图关联：将会议中提到的"登录页改版"与Jira中的"LOGIN-235任务"自动关联
2. 进度推断：通过对比甘特图计划进度和实际截图日期，准确计算延迟风险
3. 优先级判断：根据讨论频次和任务依赖关系，正确识别关键路径任务

4.3 输出样例

最终生成的Markdown周报包含：

## 本周重点进展 - [核心] 登录页改版（LOGIN-235）完成80%，较计划提前2天 - [风险] 支付接口联调因第三方延迟存在延期风险（依赖LOGIN-235） ## 待解决问题 1. 第三方API文档不完整（影响：支付模块开发） 2. 设计资源紧张（影响：营销页改版） ## 下周优先级 1. 完成登录页剩余20%工作（关键路径） 2. 推动第三方提供完整API文档

5. 实践中的经验教训

5.1 效果优化点

经过两周的迭代调整，发现三个关键优化方向：

1. 截图质量要求：避免截取半透明窗口或模糊文字，模型对清晰截图的理解准确率提升40%以上
2. 提示词工程：在visionPrompt中明确要求"不要猜测不确定的内容"，减少幻觉输出
3. 结果校验机制：添加人工确认环节，对高风险判断要求二次确认

5.2 成本控制

需要注意的Token消耗问题：

• 每张截图分析平均消耗约1200 tokens
• 周报生成阶段约消耗800 tokens
• 建议设置月度token预算，防止意外超额

6. 方案局限性

当前方案在以下场景仍需人工干预：

1. 手写便签照片的识别准确率较低
2. 跨多周的任务进度追踪需要额外配置
3. 企业文化特有的术语需要自定义词表

但相比纯手工整理，已经节省约80%的时间消耗，且关键信息遗漏率显著降低。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。