Open-AutoGLM快速部署指南：3步连接手机，开启自然语言操控新时代
Open-AutoGLM快速部署指南：3步连接手机，开启自然语言操控新时代
想象一下，你只需要对着手机说一句“打开小红书搜美食”，它就能自动完成解锁、打开应用、搜索、浏览等一系列操作。这听起来像是科幻电影里的场景，但今天，借助智谱AI开源的Open-AutoGLM框架，这一切都能轻松实现。
Open-AutoGLM是一个基于视觉语言模型的手机端AI智能助理框架。它能看懂你的手机屏幕，理解你的自然语言指令，然后像真人一样操控你的手机，帮你完成各种任务。无论是点外卖、刷短视频，还是处理工作消息，你只需要动动嘴皮子，剩下的交给AI。
这篇文章，我将带你从零开始，用最简单的三步，快速部署并连接你的手机，让你亲身体验用自然语言操控手机的神奇。
1. 准备工作：连接你的手机
要让AI控制你的手机，第一步就是建立连接。这就像给你的电脑和手机之间搭一座桥，让它们能互相“说话”。整个过程非常简单，只需要几分钟。
1.1 在电脑上安装ADB工具
ADB（Android Debug Bridge）是安卓系统的一个调试工具，也是我们连接手机的关键。你可以把它理解为一个“遥控器”，让电脑能向手机发送指令。
Windows系统安装步骤：
- 下载ADB工具包：从安卓开发者官网或可靠的第三方网站下载
platform-tools压缩包。 - 解压到方便的位置：比如解压到
C:\platform-tools。 - 配置环境变量（这是关键一步）：
- 在桌面“此电脑”图标上右键，选择“属性”。
- 点击“高级系统设置”。
- 点击“环境变量”。
- 在“系统变量”区域，找到并选中名为
Path的变量，点击“编辑”。 - 点击“新建”，然后将你解压的
platform-tools文件夹的完整路径（例如C:\platform-tools）添加进去。 - 一路点击“确定”保存。
- 验证安装：打开命令提示符（按
Win+R，输入cmd回车），输入adb version并回车。如果看到类似Android Debug Bridge version 1.0.41的版本信息，说明安装成功。
macOS系统安装步骤：
对于macOS用户，安装更简单。你可以使用Homebrew，或者直接下载工具包。
- 使用Homebrew安装（推荐）：打开终端，输入以下命令：
brew install android-platform-tools - 手动配置：如果下载了工具包，解压后，在终端里临时添加路径（每次新开终端需要重新执行）：
或者，将上述命令添加到你的export PATH=$PATH:/path/to/your/platform-tools~/.zshrc或~/.bash_profile文件中，使其永久生效。
1.2 在手机上开启调试模式
现在，轮到手机端了。我们需要打开手机的“开发者选项”，并允许电脑通过USB调试它。
开启开发者选项：这个选项默认是隐藏的。
- 打开手机的“设置”。
- 找到“关于手机”或“我的设备”。
- 连续点击“版本号”7次，直到屏幕提示“您已处于开发者模式”。
开启USB调试：
- 返回设置主菜单，现在你应该能看到一个新的选项叫“开发者选项”或“开发人员选项”。
- 进入后，找到“USB调试”并打开它。
安装ADB键盘（可选但推荐）：为了让AI能在手机上输入文字，我们需要一个特殊的输入法。
- 在手机浏览器中搜索并下载
ADB Keyboard的APK安装文件。 - 安装后，进入手机的“设置” -> “系统” -> “语言与输入法” -> “虚拟键盘”。
- 找到“ADB Keyboard”并启用它。在某些手机上，你可能还需要将其设为默认输入法。
- 在手机浏览器中搜索并下载
1.3 连接手机与电脑
最后一步，用数据线把手机和电脑连起来。
- 用USB数据线连接手机和电脑。
- 在电脑上打开命令提示符（Windows）或终端（macOS）。
- 输入命令
adb devices并回车。 - 手机上可能会弹出一个对话框，询问“是否允许USB调试？”，勾选“始终允许”，然后点击“确定”。
- 再次在电脑终端输入
adb devices。如果一切顺利，你会看到类似下面的输出，其中包含你设备的序列号，这表示连接成功！List of devices attached xxxxxxxx device
恭喜！至此，硬件和基础连接已经准备就绪。你的手机已经准备好接受AI的指令了。
2. 部署AI大脑：获取Open-AutoGLM
桥搭好了，现在我们需要把“AI大脑”——也就是Open-AutoGLM的控制程序——部署到你的电脑上。这个过程就是下载代码和安装必要的软件包。
2.1 下载项目代码
Open-AutoGLM的所有代码都开源在GitHub上。我们通过一个简单的命令就能把它“克隆”到本地。
- 打开你的终端或命令提示符。
- 导航到你想要存放项目的目录，例如你的用户文件夹或桌面。
- 执行以下命令来下载代码：
如果提示git clone https://github.com/zai-org/Open-AutoGLMgit命令未找到，你需要先安装Git。可以从 git-scm.com 下载安装。 - 下载完成后，进入项目文件夹：
cd Open-AutoGLM
2.2 安装Python依赖
Open-AutoGLM是用Python写的，所以我们需要安装它运行所需的各种“零件”（即依赖库）。项目贴心地提供了一个清单文件（requirements.txt），我们一条命令就能全部装好。
确保你的电脑已经安装了Python（建议版本3.10或更高）。然后在刚才的Open-AutoGLM目录下，运行：
pip install -r requirements.txt这条命令会自动读取清单，安装所有必需的库，比如用于处理图像的Pillow、用于网络请求的requests等。
安装完成后，为了后续开发方便，我们通常还会以“可编辑”模式安装这个项目本身：
pip install -e .至此，控制端的软件环境就搭建完成了。你的电脑已经具备了指挥手机AI助理的所有能力。
3. 启动与体验：让AI接管你的手机
万事俱备，只欠东风。现在，我们将启动AI智能体，并给它下达第一个指令。
3.1 启动AI智能体
启动AI需要告诉它两件事：连接哪台手机，以及使用哪个AI模型服务。
--device-id：就是你手机的设备ID。运行adb devices命令后显示的那串字符就是它。--base-url和--model：这是AI模型服务的地址和名称。对于快速体验，我们有几种选择：
选择一：使用智谱AI的在线API（最简单，无需本地GPU）你可以直接使用智谱AI提供的云端服务。你需要先去智谱AI开放平台注册并获取一个API Key。 启动命令如下（将YOUR_API_KEY替换成你自己的）：
python main.py \ --device-id <你的设备ID> \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey YOUR_API_KEY \ "你的指令"选择二：使用魔搭社区的在线APIModelScope（魔搭）社区也提供了该模型的API服务，同样需要申请API Key。
python main.py \ --device-id <你的设备ID> \ --base-url https://api-inference.modelscope.cn/v1 \ --model "ZhipuAI/AutoGLM-Phone-9B" \ --apikey YOUR_MODELSCOPE_API_KEY \ "你的指令"选择三：本地部署模型（适合有GPU的开发者）如果你有一张性能不错的NVIDIA显卡，可以在本地部署模型，获得更快的响应速度和完全的隐私控制。这需要先安装vLLM等推理框架，步骤稍复杂，这里不展开，项目文档中有详细说明。
3.2 下达你的第一个指令
让我们从一个简单的任务开始，验证一切是否正常。假设你的设备ID是emulator-5554，并且使用智谱的API。
在终端中运行：
python main.py \ --device-id emulator-5554 \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model "autoglm-phone" \ --apikey your_actual_api_key_here \ "打开设置"发生了什么？
- 程序启动，AI开始“思考”你的指令“打开设置”。
- AI通过ADB命令捕获当前手机屏幕截图。
- AI分析截图，识别出屏幕上的元素（比如应用图标）。
- AI规划动作：找到“设置”应用图标，并点击它。
- AI通过ADB发送点击坐标的指令给你的手机。
- 你的手机接收到指令，执行点击，成功打开“设置”应用。
整个过程几乎是瞬间完成的。你会看到终端里打印出AI的“思考”过程和执行的操作日志，同时你的手机屏幕会自己动起来！
3.3 尝试更复杂的任务
一旦基础指令成功，你就可以尝试更丰富的任务了。Open-AutoGLM能理解相当复杂的多步骤指令。
示例1：社交媒体互动
python main.py ...（你的连接参数）... “打开抖音，搜索‘萌宠’并点赞前三个视频。”AI会：1. 打开抖音。2. 点击搜索框。3. 输入“萌宠”。4. 进入搜索结果。5. 识别视频并依次点赞。
示例2：生活服务
python main.py ...（你的连接参数）... “打开美团外卖，找一家评分4.5以上的披萨店，把菜单截图发到微信文件传输助手。”AI会完成打开应用、搜索、筛选、进入店铺、截图、打开微信、发送图片等一系列操作。
示例3：信息查询与整理
python main.py ...（你的连接参数）... “打开浏览器，搜索‘北京明天天气’，把结果页截图保存。”你可以尽情发挥想象力，用自然语言描述任何你想在手机上完成的操作。看着手机自动执行任务，是一种非常奇妙的体验。
4. 总结与展望
通过以上简单的三步——连接手机、部署代码、启动AI，你已经成功地将Open-AutoGLM这个强大的手机AI助理框架运行了起来。从今天起，你可以用最自然的方式与手机交互，把重复、繁琐的点击操作交给AI。
回顾一下，这个框架的核心价值在于：
- 自然交互：彻底改变了“点按”的交互模式，用说话或打字来操控手机。
- 视觉理解：AI能真正“看到”屏幕内容，而不仅仅是执行预设脚本，适应性更强。
- 自动化流程：能将一个复杂任务分解成多个步骤自动执行，解放双手。
- 开源开放：作为开源项目，开发者可以深入研究、定制甚至贡献代码，推动其发展。
目前，Open-AutoGLM已经支持微信、抖音、淘宝、美团等50多款主流中文应用。随着社区的不断贡献和智谱AI的持续迭代，其支持的应用范围和任务复杂度一定会飞速增长。
你可以用它来：
- 自动化测试：为你的App编写自然语言测试用例。
- 无障碍辅助：为视障或行动不便的用户提供强大的操控能力。
- 个人效率工具：定制属于自己的手机自动化工作流。
- 研究与学习：探索多模态大模型与具身智能的前沿领域。
技术的魅力在于亲手实践。现在，你已经掌握了钥匙，快去开启属于你的自然语言操控新时代吧！从一句简单的“打开天气”开始，探索AI为你带来的无限可能。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。