GELab-Zero：面向 Android 的开源移动端 GUI Agent，让 AI 像人一样用手机

在大模型走向 Agentic（智能体）的过程中，模型能力不再只停留在“回答问题”，而是开始进入“理解任务、观察环境、执行动作”的阶段。移动端 GUI Agent 正是这个方向里很值得关注的一类：它尝试让 AI 像用户一样看手机界面，再通过点击、输入、滑动等动作完成任务。

手机场景足够真实，也足够复杂。外卖、出行、支付、社交、购物、内容消费等高频任务都发生在移动端。只要从 Demo 进入真实手机和真实 App，设备连接、权限配置、ADB 调试、模型推理服务、任务录制回放、多设备调度都会变成绕不开的工程问题。

GELab-Zero 的价值，就在于把模型、设备控制、任务执行和轨迹回放这些环节整合到一个开源项目里，让开发者可以更专注于 Agent 策略和真实应用体验。

GitHub 仓库：https://github.com/stepfun-ai/gelab-zero

项目主页：https://opengelab.github.io/index_zh.html

一、项目介绍：什么是 GELab-Zero？

GELab-Zero 是阶跃星辰 StepFun GELab 团队开源的移动端 GUI Agent 项目，主要面向 Android 手机上的真实 App 操作场景。

从官方 README 来看，项目由两部分组成：

• GELab-Zero-4B-preview：一个可在本地计算机运行的 4B GUI Agent 模型。
• Plug-and-Play 推理基础设施：负责处理 ADB 连接、依赖安装、任务执行、轨迹记录与回放等工程问题。

这意味着 GELab-Zero 不是单纯开源一个模型权重，而是把“模型看懂屏幕”到“真实手机执行动作”的链路一起开放出来。

官方 README 中提到，它提供了类似开源 GUI Agent MCP 的一键启动体验，可以完全本地部署，并将整个推理流程放在用户可控的环境中。具体能力可以概括为四点：

• 本地部署：支持在消费级硬件上运行 4B 规模模型，兼顾低延迟和隐私控制。
• 一键启动：提供统一部署管道，自动处理环境依赖和设备管理。
• 任务分配：可以将任务分发到多部手机上，并记录交互轨迹，便于观察和复现。
• 三种代理模式：覆盖 ReAct 循环、多代理协作和计划任务等工作模式。

可以把它理解成一个面向 Android 的 Phone Use Agent 框架：用户给出自然语言任务，系统获取手机截图，多模态模型理解当前界面并规划下一步动作，执行框架再通过 ADB 把点击、输入、滑动、等待等操作落到真实设备上。

一个典型任务大致会经历这些环节：

• 输入自然语言任务，例如“在淘宝找一双 37 码白色帆布鞋，价格不超过 100 元，并收藏第一个商品”。
• 通过 ADB 获取手机当前截图。
• 多模态模型结合任务目标、屏幕截图和历史轨迹判断下一步动作。
• 执行框架将模型输出的动作发送到 Android 设备。
• 每一步截图、动作和日志都会被记录，用于后续复盘和调试。

从 Hugging Face 模型页可以看到，GELab-Zero-4B-preview属于 Image-Text-to-Text 模型，模型规模为 4B，页面显示 base model 为Qwen/Qwen3-VL-4B-Instruct。这类模型能够接收屏幕截图和文本任务，输出与界面操作相关的决策，是 GUI Agent 能跑起来的核心基础。

二、移动端 GUI Agent 的技术难点

让 AI 操作手机，表面上像是“截图 + 点击 + 输入”，实际难点在于连续、真实、不可控的移动环境。学习 GELab-Zero 时，可以重点关注下面几个问题。

移动生态碎片化。不同品牌、系统版本、屏幕尺寸和 App 版本都会影响界面布局。一个按钮在某台手机上可能在底部，在另一台手机上可能被弹窗挡住；App 一次改版，也可能让原本稳定的流程失效。

任务链路长。购物、打车、订票、点外卖通常不是一次点击完成，而是包含搜索、筛选、判断、确认、等待加载、处理弹窗等多个步骤。Agent 需要根据每一步屏幕反馈持续调整策略。

状态不可控。真实 App 里经常会遇到登录态失效、广告弹窗、网络卡顿、页面懒加载、推荐内容变化等情况。对 GUI Agent 来说，这些都不是异常边角料，而是真实使用中经常出现的环境变量。

工程基础设施重。阿里云开发者社区相关文章也提到，移动端 GUI Agent 要真正跑通，需要处理多设备 ADB 连接、依赖安装、权限配置、推理服务部署、任务编排与回放等问题。GELab-Zero 选择把这些基础设施封装起来，本质上是在降低研究和实践门槛。

三、项目亮点：GELab-Zero 值得学习的地方

1. 模型和基础设施一起开源

很多 GUI Agent 项目只开放模型，或者只开放一个演示 Demo。GELab-Zero 比较有学习价值的一点，是模型和运行基础设施一起给出。

官方仓库中包含客户端、服务端、前端、工具、示例、MCP Server、可视化等模块。对于想研究 GUI Agent 的开发者来说，它不仅能看模型能力，也能观察一个真实移动端 Agent 系统如何组织设备控制、任务执行和日志回放。

AIBase 的报道也提到，GELab-Zero 关注本地部署、轻量推理、一键启动、多设备任务分发，以及交互轨迹记录。这些能力更偏工程落地，而不是单纯模型展示。

2. 本地运行，适合关注隐私的场景

移动端 Agent 会读取手机屏幕，而手机屏幕里可能出现聊天记录、订单、位置、联系人、支付页面等敏感信息。如果所有截图都必须发给云端模型，很多真实场景会有隐私顾虑。

GELab-Zero-4B-preview 的定位是可在本地计算机运行，配合本地推理服务使用，可以降低敏感数据外传风险。

这也是移动端 Agent 和普通 Chatbot 不同的地方：Chatbot 主要处理用户主动输入的文本，而 GUI Agent 会观察整个屏幕环境。本地推理、日志脱敏和可控执行链路，都会成为后续落地时需要重点考虑的方向。

3. 基于视觉理解真实屏幕

GELab-Zero 主要从屏幕截图出发，让模型根据视觉信息理解界面，再输出动作。

这种方式和依赖 HTML、辅助树或 App 内部 API 的方案不同。后者在特定环境里可能更稳定，但需要更多适配；视觉方案更接近人类操作手机的方式：看到页面、理解语义、决定下一步点哪里。

需要注意的是，视觉理解并不等于脱离设备接口。真正执行动作仍然需要 ADB。更准确地说，GELab-Zero 是“视觉理解 + ADB 执行 + 轨迹记录”的组合。

4. 任务轨迹可记录、可复盘

真实 Agent 开发里，任务失败后最需要回答的问题是：到底是哪一步错了？

GELab-Zero 会记录每一步截图、动作和模型输出，并支持通过 Streamlit 可视化查看轨迹。每次任务会生成一个 session ID，可以用来回看完整执行过程。

这对调试很关键。开发者可以判断模型是误读了按钮、点击坐标偏了、页面等待不够，还是历史上下文过长导致策略漂移。对于长链路 Agent 来说，轨迹记录几乎是必备能力。

5. 支持 MCP Server 和多设备管理

官方 README 显示，GELab-Zero 已支持 MCP Server，用于多设备管理和任务分发。

这说明它不只是单机单设备 Demo，也在往更工程化的方向发展。多台手机统一调度、任务分发、执行记录和失败复盘，都是移动端 Agent 从实验走向真实应用时需要补上的能力。

四、示例演示：从任务看 Agent 能力

官方演示中，GELab-Zero 覆盖了多商品购物、条件搜索、信息检索、在线答题等任务。这里保留两个比较典型的例子，便于从任务形态理解它的能力边界。

示例一：多商品购物

这个任务要求 Agent 在外卖/零售类 App 中购买多种不同规格商品。它不是简单地点击某个按钮，而是要完成搜索、识别商品、加入购物车、判断数量等多个动作。

从技术角度看，这类任务能体现 GUI Agent 对“长链路操作”的处理能力：每一步都要依赖当前屏幕状态，不能完全写成固定脚本。

示例二：条件搜索

这个任务要求 Agent 根据颜色、尺码、价格等约束筛选商品，并收藏符合条件的结果。

它更像真实用户的模糊需求：目标不是“点击第几个按钮”，而是“找到符合条件的结果”。Agent 需要理解约束条件，也要在搜索结果页面中持续判断哪些信息与任务目标相关。

这两个示例都说明，移动端 GUI Agent 的关键不只是动作执行，而是把“任务目标、视觉观察、历史上下文、下一步动作”串成一个连续决策过程。

五、AndroidDaily：一款贴近日常生活的自建基准测试

GELab-Zero 还配套提出了 AndroidDaily，一个面向真实日常移动场景的基准测试。

很多 GUI Agent Benchmark 更偏生产力场景，比如邮件、文档、浏览器。但普通用户在手机上最常做的事情，其实是外卖、打车、购物、支付、社交、内容消费等生活服务任务。

AndroidDaily 正是围绕这些场景构建。官方资料显示，它包含：

• 静态测试：3146 个动作，给出任务描述和逐步截图，要求模型预测每一步动作类型和值。
• 端到端测试：235 个任务，在真机或模拟器环境中从头到尾执行，以整体任务成功率评估。

场景分布包括出行、购物、社交通讯、内容消费、本地服务等。

官方 README 给出的 AndroidDaily 静态测试结果中，GELab-Zero-4B-preview的准确率为0.734。作为对比，GPT-4o 为0.196，Gemini-2.5-pro-thinking 为0.366，UI-TARS-1.5 为0.470。

官方 README 还提到，GELab-Zero-4B-preview在 AndroidWorld 测试中达到75.86%的成功率。这个结果说明，它的价值不只在静态截图理解，也体现在真实移动任务的端到端执行能力上。

AndroidDaily 的意义不只是刷榜，而是把 GUI Agent 的评估拉回真实生活：能不能真的完成用户每天会遇到的复杂、多步骤、有约束的移动端任务。

六、快速上手思路

如果只是学习和体验，可以先按官方推荐流程跑通最小闭环：模型服务、Android 设备、示例任务、轨迹可视化。

1. 准备 Python 环境

官方建议 Python 3.12+，并推荐使用 Miniforge / Conda。

conda create-ngelab-zeropython=3.12-yconda activate gelab-zero

2. 准备模型推理服务

个人用户可以优先尝试 Ollama：

pipinstallhuggingface_hub hf download --no-force-download stepfun-ai/GELab-Zero-4B-preview --local-dir gelab-zero-4b-preview

导入 Ollama：

cdgelab-zero-4b-preview ollama create gelab-zero-4b-preview-fModelfile

如果电脑配置较低，也可以考虑量化版本，但量化可能带来性能损失。

3. 准备 Android 设备

需要开启开发者模式和 USB 调试，并安装 ADB。

adb devices

如果看到设备状态为device，说明连接成功。

4. 克隆项目并运行示例

gitclone https://github.com/stepfun-ai/gelab-zerocdgelab-zero pipinstall-rrequirements.txt python examples/run_single_task_state_compress.py

5. 可选：启动轨迹可视化

streamlit run--server.address127.0.0.1 visualization/pages/main_page.py--server.port33503

浏览器访问：

http://localhost:33503

七、适合哪些人学习？

GUI Agent / 多模态 Agent 研究者。GELab-Zero 提供模型、任务、运行框架和 Benchmark，适合用来观察移动端 Agent 的任务建模、动作空间和评估方式。

移动端自动化开发者。相比传统脚本，GUI Agent 更适合处理动态界面、模糊目标和非固定流程。即使暂时不用于生产，也可以作为自动化方案的补充思路。

关注本地隐私 Agent 的团队。移动端任务经常涉及敏感数据，本地模型和本地执行链路能提供更强的数据控制能力。

想学习开源项目工程结构的开发者。这个项目不仅有模型，也有设备管理、任务执行、可视化、MCP Server 等模块，适合作为移动端 Agent 工程化案例来拆解。

八、需要注意的限制

GELab-Zero 很有价值，但不应被理解成“装上就能稳定替代真人”的万能工具。

当前仍需注意：

• 主要面向 Android，需要 ADB 和 USB 调试环境。
• 真实 App 的弹窗、登录态、网络波动会影响执行稳定性。
• 涉及支付、下单、隐私数据的任务要谨慎，建议先在测试账号中运行。
• 量化能降低部署成本，但可能影响模型判断质量。
• GUI Agent 是连续决策系统，一步误判可能影响后续整条轨迹，因此日志和回放非常关键。

九、总结

GELab-Zero 的意义，不只是开源一个 4B GUI Agent 模型，而是把“看懂屏幕”到“操作真机”之间的工程链路补上了。

从学习角度看，它值得关注的地方有三点：

• 看模型如何理解手机截图并生成动作。
• 看工程框架如何连接 ADB、设备、任务和轨迹回放。
• 看 AndroidDaily 这类 Benchmark 如何把 GUI Agent 评估拉回真实生活任务。

移动端 Agent 真正难的不是做一个漂亮 Demo，而是让系统能连接真机、执行真实任务、记录全过程、失败可回放、策略可迭代。

如果你正在关注 GUI Agent、Computer Use、Phone Use Agent，或者想探索“AI 像人一样操作手机”的真实落地方式，GELab-Zero 值得作为一个开源项目认真学习。

十、参考内容

• GELab-Zero GitHub 仓库：https://github.com/stepfun-ai/gelab-zero
• GELab-Zero 中文 README：https://github.com/stepfun-ai/gelab-zero/blob/main/README_CN.md
• GELab-Zero 项目主页：https://opengelab.github.io/index_zh.html
• GELab-Zero-4B-preview Hugging Face 模型页：https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview
• AndroidDaily 数据集：https://huggingface.co/datasets/stepfun-ai/AndroidDaily
• Step-GUI Technical Report：https://arxiv.org/abs/2512.15431
• GELab-Engine 论文：https://arxiv.org/abs/2512.02423
• AIBase 报道：https://www.aibase.com/news/23245
• 阿里云开发者社区文章：https://developer.aliyun.com/article/1691104
• AI 分享圈介绍：https://aisharenet.com/en/gelab-zero/
• 界面新闻快讯：https://m.jiemian.com/article/13704176.html
• 科创板日报快讯：https://www.cls.cn/detail/2215707