UI.Vision RPA自动化从零到一实战指南：把重复劳动交给免费开源工具

UI.Vision RPA自动化从零到一实战指南：把重复劳动交给免费开源工具

【免费下载链接】RPAUi.Vision Open-Source RPA Software with Computer Vision, OCR, Anthropic Computer Use/LLM. Selenium IDE import/export.项目地址: https://gitcode.com/gh_mirrors/rp/RPA

如果你每天都要在网页上重复填表、复制粘贴、点击保存，那么这篇RPA自动化实战指南就是为你准备的。UI.Vision RPA 是一款完全免费、开源可审计的浏览器扩展，支持 Chrome、Edge 与 Firefox，能录制你的操作并自动回放，还内置了计算机视觉、OCR 文字识别和 AI 智能操作能力。别被"机器人流程自动化"这个名词吓到——简单说，它就是一个"替你在浏览器里干活"的工具，而你需要做的，只是把操作演示一遍。

先从一段真实经历说起

我有个做运营的朋友，每天下午雷打不动要做一件事：把 Excel 里的几十行数据一条条粘贴到后台系统，每粘贴一条都要切换窗口、找输入框、点保存。有一次他在第 23 行复制错了单元格，前面二十多条记录全部作废，重新来一遍又花了四十分钟。这种"看起来简单、做起来要命"的重复劳动，几乎每个岗位都有：财务要批量导账单、HR 要逐个查社保、客服要重复填工单。

这正是 UI.Vision RPA 的用武之地。它是一款开源的 RPA 自动化软件（RPA 即 Robotic Process Automation，翻译过来是"机器人流程自动化"，你可以理解成"让软件替你操作软件"），核心能力包括三块：

• 网页操作录制与回放：你手动操作一遍，它生成脚本，之后每次自动执行；
• 计算机视觉定位：按"图片长相"找界面元素，页面改版也不怕；
• OCR 文字识别与 AI：直接"读"屏幕上的文字，甚至可以让大模型看着屏幕帮你做决策、替你点击。

它还兼容 Selenium IDE——如果你以前接触过 Selenium 这套测试工具，脚本可以直接导入导出，几乎零学习成本迁移。

30 秒判断：它适不适合你

先给一张速览表，看完你就能决定要不要继续读下去：

如果你符合下面任意一条，它就是为你准备的：

• 每天有超过半小时的重复网页操作，且这些操作逻辑固定；
• 不想为了自动化专门去学一门编程语言；
• 目标系统没有提供 API，只能靠人肉点鼠标。

反之，如果你的任务是一次性的、页面每天都在大改，或者你更需要的是数据爬取（而不是模拟操作），那它可能不是最优解。

10 分钟跑通第一个自动化任务

下面我们做一个完整闭环：安装 → 录制 → 回放 → 验证结果。任务很接地气——把"登录后台 → 输入查询条件 → 点击查询"这条流程，变成一条一键运行的宏（宏就是一条自动化脚本，你可以理解成"录好的操作合集"）。

第 1 步：安装扩展

最省事的方式是直接去 Chrome、Edge 或 Firefox 的扩展商店，搜索 "UI.Vision RPA" 点安装，全程免费。如果你习惯从源码构建，可以克隆仓库https://gitcode.com/gh_mirrors/rp/RPA，然后依次执行：

npm i -f npm run build

构建产物会出现在dist目录（Firefox 对应dist_ff），打开chrome://extensions开启"开发者模式"，点击"加载已解压的扩展程序"选中该目录即可。

小提示：只是日常使用的话完全不需要构建，商店装完就能用。源码构建是给想改功能、做二次开发的人准备的。

第 2 步：打开录制器

点击浏览器工具栏上的 UI.Vision 图标，在弹出的面板里选择"录制新宏"，浏览器就会进入录制状态——注意，从这一刻起你做的每一步都会被记录。

第 3 步：在页面上手动操作一遍

正常去你的目标网站，把想自动化的流程走一遍。比如打开一个课程管理后台，在左侧选中课程、在中间编辑区改内容、最后点发布：

这一步的目的很单纯：你不需要用嘴描述流程，做一遍就够了。录制器会自动判断你点了哪里、输入了什么。

第 4 步：停止录制，看看生成的命令表

操作完毕后点击停止，你会看到刚才的每一步都被翻译成了一行命令，格式是命令 | 目标 | 参数：

open | https://example.com/admin type | id=username | demo type | id=password | 123456 click | id=loginBtn waitForPageToLoad | 30000 click | id=searchBtn

是不是有点像自然语言？type就是往输入框里打字，click就是点击，waitForPageToLoad就是等页面加载完成。这些命令的定义都在项目的 src/actions/ 目录里，想了解支持哪些命令可以翻一翻。

第 5 步：回放并验证

点击"播放"按钮，浏览器会自动重复你刚才的操作。首次建议用单步执行（一步步走），确认每行命令都执行正确；没问题后再整条播放。到这里，你已经跑通了 RPA 自动化的完整闭环。⚡️

第 6 步：处理"不听话"的元素（进阶预演）

播放过程中你大概率会遇到一个问题：某个按钮在页面上找不到了。原因通常是元素被加了动态样式、登录状态不同导致按钮文字变化等。这时候就要请出 UI.Vision 的招牌能力——视觉识别。你可以截图指定一个搜索区域，让工具按"图像特征"而不是"HTML 位置"去找元素：

如上图，绿色区域是命令配置区，你可以为findImage这类命令指定目标图片和搜索范围，工具会在指定区域内扫描匹配。这种定位方式比传统的 CSS 选择器稳定得多，是处理动态网页的关键手段。

进阶玩法与避坑清单

跑通第一个宏之后，下面是几个能明显提升效率的技巧，以及新手最容易踩的坑。

技巧一：用 uiv.* JavaScript API 写真正的逻辑

录制模式适合线性流程，一旦遇到"如果找不到就跳过""循环处理多页"这类逻辑，就轮到 JavaScript 出场了。项目提供了完整的uiv.*API，把 DOM 定位（uiv.$）、图像查找（uiv.findImage）、OCR 找字（uiv.ocr.findText）、AI 查找（uiv.ai.find）都封装成了同步函数，失败会抛异常，try/catch就能处理：

const btn = uiv.findImage('search_button.png', { timeout: 10 }); if (btn) { uiv.browser.click(btn); } else { uiv.log('按钮图片没找到，改用文字定位', 'orange'); uiv.browser.click(uiv.ocr.findText('查询')); }

每一条uiv.*调用都会自动等待元素出现，超时才报错，写起来非常省心。完整的命令对照表可以看仓库里的 uiv-commands.md，它把每一行经典表格命令都映射到了对应的 JS 写法。

技巧二：能用 OCR 找文字，就别死磕图片

很多新手一上来就截图存模板，其实 OCR 是更省事的方案：按钮上的文字是"读"出来的，界面改版、换主题、换屏幕分辨率都不会影响。缺点是 OCR 可能认错字，所以第一次用某个文字定位前，建议先跑一次"OCR 覆盖层"看看工具到底识别出了什么，再决定用它做定位依据。

技巧三：用 XModule 把能力扩展到桌面应用

UI.Vision 不止能操作网页。通过 XModule 扩展模块，它可以操作浏览器之外的桌面软件（截图、点击、输入），实现"网页 + 桌面"混合流程。安装扩展模块需要把扩展 ID 写进几个 JSON 配置文件，再运行对应的批处理脚本，就像下图这样：


红箭头标的就是"把扩展 ID 填进 4 个 JSON 文件，再运行 3 个安装脚本"的流程。相关服务源码在 src/services/xmodules/，想深度定制可以去研究。

技巧四：让 AI 助手直接帮你写宏

项目接入了 Anthropic 的 Computer Use / LLM 能力，还有一套 MCP 桥接（说明见 mcp/README.md）。简单说，你可以用自然语言描述需求，让 AI 直接生成、修改甚至运行宏——它看着屏幕操作，玩五子棋这类小游戏都能跑通。对不熟悉命令语法的用户来说，这是最快的上手方式。

新手最容易踩的 4 个坑

坑一：录制时不加等待，回放时页面没加载完。解决：在关键步骤后补waitForPageToLoad或显式的等待命令，宁可多等一秒，不要抢跑。

坑二：依赖固定坐标定位。窗口大小一变，坐标就全错。解决：优先用 CSS 选择器或视觉识别，坐标只留给"真没有其他办法"的场景。

坑三：把 OCR 识别失败当成"元素不存在"。OCR 可能只是"看错了"而不是"没看到"。解决：先开覆盖层确认识别结果，再判断是改模板还是改文字。

坑四：用try/catch掩盖"找不到"而不是处理"报错"。两个语义完全不同：找不到应该用{required: false}加空值判断，try/catch是留给真正的异常的，混用会让你排查问题时一脸懵。

快问快答

• 问：录制好的宏换台电脑还能用吗？能，宏是独立文件，导入导出即可，跨浏览器跨系统都能跑。
• 问：能操作本机文件吗？能，项目内置了文件系统服务（见 src/services/filesystem/），可以读写本地文件、处理 CSV 数据。
• 问：免费版有什么限制吗？官方说明是个人和商业用途都免费，没有功能阉割。

写在最后

UI.Vision RPA 的价值，不在于它有多少炫酷的功能标签，而在于它把"自动化"的门槛降到了会用浏览器就能上手的程度：录制解决 80% 的简单流程，视觉识别和 OCR 解决"界面不稳定"的老大难，JavaScript API 和 AI 解决最后 20% 的复杂逻辑。它是开源的（AGPL-3.0），代码就在仓库里随时可以审计，不用担心闭源工具那种"黑盒依赖"。

适合谁？被重复劳动困住的运营、财务、客服、HR，想给项目补自动化测试的开发者，以及任何觉得"我这点小事不值得写个程序"的人——其实值得。

接下来你可以做三件事：先去浏览器商店把它装上，录一条真实工作里的重复流程试试；然后翻一翻仓库里的 uiv-commands.md 和 src/services/ 了解更深的能力；最后，把第一个宏跑通的那一刻，你会发现自己省下的不只是那四十分钟，而是每天多出来的一段完整时间。

自动化的意义从来不是取代人，而是让人从复制粘贴里腾出手来。现在，轮到你开始了。

【免费下载链接】RPAUi.Vision Open-Source RPA Software with Computer Vision, OCR, Anthropic Computer Use/LLM. Selenium IDE import/export.项目地址: https://gitcode.com/gh_mirrors/rp/RPA