当前位置: 首页 > news >正文

推荐 4 个 yyds 的 AI 控制安卓手机的 GitHub 项目。

逛逛在 11 月发了一篇文章,盘点了 GitHub 上 AI 操纵手机的开源项目。

获得了 3 万多阅读,3000 多人转发收藏:

没想到那篇文章发布 5 天后,豆包就官宣推出了 AI 手机,紧接着智谱 AI 就开源了 AutoGLM 模型。

我又搜罗了几个 AI 操作手机的开源项目,再加上我之前发的那篇。整个 GitHub 上关于 AI 控制手机的项目算是被逛逛搜刮干净了。

欢迎收藏转发👏

01

智谱开源:Open-AutoGLM

这个开源项目太顶了,不到一周就 1.3 万的 Star 了。

基于这个开源框架,就能让 AI 可以像人眼一样看手机屏幕,然后像人手一样去点击。

你给它一个任务,比如:帮我总结下长春的景点,到高德地图上收藏一下这几个景点,特别是具体看看博物馆门票价格,再去12306上订一张上午十点从北京去长春的高铁票,把相关信息整理好给我。

AutoGLM 会先把手机屏幕截个图,模型会分析截图,通过视觉定位找到当前要点击哪个按钮或者做啥操作。

并通过 ADB(Android Debug Bridge)工具,直接向手机发送点击、滑动、输入文字的指令。

最终这样一步步模拟人看手机、操纵手机的行为,完成你给的任务。

开源地址:https://github.com/zai-org/Open-AutoGLM

而且这个开源可以本地部署,而且如果你有显卡,大约需要 24GB+ 显存,你可以把这个 Agent 跑在本地。

隐私数据,比如聊天记录、支付画面啥的不上传到云端也能自动化的你的安卓手机了。

如何使用

你可以使用Claude Code,配置 GLM Coding Plan 后,输入以下提示词,快速部署本项目。

访问文档,为我安装 AutoGLM :https://raw.githubusercontent.com/zai-org/Open-AutoGLM/refs/heads/main/README.md

02

通过 MCP 控制手机:DroidMind

DroidMind 这个开源项目的的核心逻辑是不自己训练一个新模型,而是做一个超级适配器

它通过 MCP 协议,把你的Android 手机直接挂载到Claude DesktopCursor或者 ClaudeCode上。

你不需要运行一个沉重的本地模型。

你直接用最聪明的Claude 或 Gemini,通过 DroidMind 这个翻译官,直接操控你的安卓手机。

开源地址:https://github.com/hyperb1iss/DroidMind

03

微软开源:UFO

这个叫 UFO 的开源项目其实是微软开源的 AI 操作 Windows 系统的开源项目。

只不过 11 月推出的 UFO³ Galaxy 已经演变成了一个跨设备、跨平台的编排框架。

UFO³ Galaxy涉及到操纵Android 手机设备的部分是这次更新的核心亮点之一。

它也是通过引入MCP 架构来实现的,这使得 UFO 不再局限于 Windows,而是能像指挥官一样控制安卓手机。

UFO³ Galaxy是一个多设备编排系统。它的核心理念包含两个部分。

  • Galaxy (星系):整个控制中枢,负责分发任务。

  • Constellation (星座):它将一个复杂的用户指令,比如把手机上的刚拍的照片传到电脑并用 Photoshop 编辑,拆解成一个 DAG(有向无环图)。

Windows 电脑、Linux 服务器、Android 手机等都作为独立的节点接入这个网络。

开源地址:https://github.com/microsoft/UFO

04

字节开源:UI-TARS

字节跳动开源的一个基于视觉-语言模型(VLM)的 GUI 智能体(Agent)项目。

它的核心目标是让 AI 像人类一样,通过视觉识别屏幕和操作鼠标/键盘/触控,直接控制手机、计算机或网页。

安卓手机设备操纵,UI-TARS 采用了一种端到端、纯视觉驱动、基于 ADB的控制方案。

也是截取手机屏幕画面,把截图输入给视觉模型,模型结合用户的指令分析屏幕上的元素,决定下一步做什么。

最后模型输出具体的动作指令,转化为底层的 Android ADB 命令发送给手机执行。

开源地址:https://github.com/bytedance/UI-TARS

另外之前发布的另外一个盘点 AI 控制手机开源项目的链接如下,感兴趣的可以去看看:

5 个 AI 操纵手机的 GitHub 项目,牛逼了。

05

点击下方卡片,关注逛逛 GitHub

这个公众号历史发布过很多有趣的开源项目,如果你懒得翻文章一个个找,你直接关注微信公众号:逛逛 GitHub ,后台对话聊天就行了:

http://www.cnnetsun.cn/news/80739.html

相关文章:

  • Qwen命令行工具完全指南:从入门到高效使用技巧
  • 照片太多怎么办?Immich智能照片管理终极指南:轻松搞定自动回忆生成
  • 5分钟快速获取同济大学第七版线性代数教材 [特殊字符]
  • 1、24 小时学会 GIMP:安装与使用指南
  • 3、掌握GIMP基础工具,开启创意图形之旅
  • 如何快速扩展gofakeit:开发者的完整实践指南
  • ICCV 2025 | 强噪声去模糊天花板!残差引导策略 (RGS) 革新核估计,四大数据集上的全面领先
  • MLX转换终极指南:在Apple芯片上实现一键部署的完整教程
  • 实战指南:用Docker快速搭建专业级语音合成服务
  • 15个Obsidian效率提升的完整方案:让你的知识管理达到新高度
  • 一键部署:ZLMediaKit Windows服务化实战指南
  • Qwen-Image-Edit-Rapid-AIO V10终极指南:零基础快速上手指南
  • 从零开始掌握文本转SVG序列图的终极方案
  • 21、畅享数字视听:Linux系统的多媒体及外设应用指南
  • spotDL音频格式终极指南:6种格式深度解析与最佳选择
  • 阅宝黄金获授《黄金以旧换新经营服务规范》团体标准起草单位,以专业之力助推行业规范化发展
  • 制造业老师傅的工艺经验,可通过国产CAD软件系统化传承
  • PGModeler:让PostgreSQL数据库建模变得像搭积木一样简单
  • 游戏资源安全防护完整指南:从风险评估到系统化实施
  • Tsuru租户隔离架构深度解析:构建企业级安全PaaS平台
  • C++结构体完全指南:从基础到高级应用
  • 9、Samba配置全解析:从基础到实战
  • 技术为生命重启而来:脑虎科技发布“三全”脑机接口临床成功,以更优安全性与AI融合定义新未来
  • GoFakeIt扩展开发实战指南:打造专属测试数据工厂
  • OhMyZsh终端主题终极指南:从入门到精通的全方位配置方案
  • 当用户问‘哪品牌最好’时,你的名字为何未出现在AI回答中?长缨引擎解答迟迟没有出现在答案里 更别说被优先推荐了 是它们不够好吗 显然不一定 那原因出在哪这背后其实涉及一个正在快速成型的新规则——生成式
  • 从零开始学空间转录组分析,手把手教你用R完成差异表达全流程
  • 揭秘R Shiny结果导出黑科技:如何一键实现PDF、Excel、PPT多格式同步生成
  • 3步快速解决Windows安全中心“联系IT人员“错误
  • 如何快速上手Ocrad.js:JavaScript OCR识别的完整指南