Fara-微软电脑助手模型本地实践

微软推出的 Fara 系列模型，是一个专为电脑操作设计的 AI 智能体。它不同于只能聊天的传统 AI，Fara 能像人一样看屏幕、使用鼠标和键盘，直接在电脑上帮你完成各种网页任务。

Fara-7B 仅有 70亿（7B）参数，设计极其精巧，能直接在个人设备上本地运行，无需依赖云端服务器。这带来了两大优势：极低延迟（处理速度快）和 隐私保护（所有数据留在本地）。

虽然体积小巧，但性能毫不妥协。在网页任务基准测试 WebVoyager 中，Fara-7B 取得了 73.5% 的成功率，超越了作为智能体配置时的 GPT-4o（65.1%）。效率也同样出色，平均仅用 16步 完成任务，优于同类模型需要的 41步。

模型下载

首先我们需要先下载模型。国内我是去modelscope找和下载。地址如下：

Fara-7B

不过由于本人的电脑显卡内存不够，只有8G。最后选择的是8位的量化版本。相关链接如下：

microsoft_Fara-7B-GGUF

microsoft_Fara-7B-Q8_0.gguf

mmproj-microsoft_Fara-7B-bf16.gguf

CUDA环境安装

本人用的是windows操作系统，需要用到WSL2。安装方式网上挺多的，可自行搜索。

WSL安装好后，在安装个ubantu镜像，找个相对新点的。接着需要安装cuda环境。

查看显卡支持的CUDA版本。输入下述命令：

nvidia-smi

接下来进入ubantu，安装PyTorch。由于PyTorch没有13.1。我选了最解决的13.0。

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu130#执行下述指令验证python -c "import torchprint('='*20, 'PyTorch 安装验证', '='*20)# 1. 检查导入与版本print(f'[1/4]PyTorch 版本:{torch.__version__}')# 2. 检查 CUDA 支持cuda_available = torch.cuda.is_available()print(f'[2/4]CUDA 是否可用:{cuda_available}')print('='*57)"

接下来安装nvcc

wget https://developer.download.nvidia.com/compute/cuda/13.0.1/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.1-580.82.07-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.1-580.82.07-1_amd64.debsudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/sudo apt updatesudo apt install cuda-toolkit-13-0 -y# 永久添加 PATHecho 'export PATH=/usr/local/cuda-13.0/bin:$PATH' >> ~/.bashrcecho 'export LD_LIBRARY_PATH=/usr/local/cuda-13.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrcsource ~/.bashrc# 验证nvcc --version

模型引擎安装

由于我用的模型是GGUF格式的，vllm不行，得用llama.cpp。

./build/bin/llama-server命令可以启动一个openAI接口格式的Web服务。

-m参数用于指定使用的文本类大模型，-mmproj 参数用于指定多模态大模型。

git clone https://github.com/ggerganov/llama.cppcdllama.cppmkdir-p build&&cdbuildcmake..-DGGML_CUDA=ONcmake --build.--config Release -j$(nproc)cd~/llama.cpp./build/bin/llama-server\--host0.0.0.0\--port5000\-m{你的模型目录}/microsoft_Fara-7B-Q8_0.gguf\--mmproj{你的模型目录}/mmproj-microsoft_Fara-7B-bf16.gguf\--n-gpu-layers30\--ctx-size8192

跑起来后8G直接干满。

客户端安装

使用的客户端是官方推荐的magentic-lite。

安装命令如下：

#安装uv(如果没有的话)curl -LsSf https://astral.sh/uv/install.sh | sh# Create a project directorymkdir magentic-lite && cd magentic-lite# Create and activate a virtual environmentuv venv --python=3.12 --seed .venvsource .venv/bin/activate# Install the latest 0.2.x release from PyPIuv pip install "magentic_ui>=0.2.0"

安装后，根据提示配置下大模型接口的web服务就好。默认是http://localhost:5000/v1。

效果图如下，还是有点慢：