ODS完整指南：如何将你的电脑变成私有AI服务器（2026本地AI终极方案）

ODS完整指南：如何将你的电脑变成私有AI服务器（2026本地AI终极方案）

【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODS

ODS（Osmantic Deployment System）是一个开源的本地AI服务器部署系统，一条命令就能把你的 PC、Mac 或 Linux 主机变成私有AI服务器：自动检测显卡、挑选合适的开源大模型、拉起聊天界面，内置 LLM 推理、语音、智能体、工作流、RAG 和图像生成，全程无需联网云服务，提示词和数据都留在你自己的机器上。

🧩 ODS 是什么：一条命令搞定的本地AI全家桶

过去想让本地 AI 跑起来，你得手动拼装 Ollama、Open WebUI、n8n、ComfyUI 和一堆隐私工具，再手写 Docker 配置、祈祷各服务互通。大多数人折腾几小时就放弃了。

ODS 把这些全部打包好，装完即用的能力包括：

无需云、无需订阅。云端 API 与混合模式都是可选项，默认一切本地运行。

💻 支持的平台与硬件

ODS 对新手最友好的一点：不用懂 GPU 选型，安装器会自动检测你的硬件档位（tier）并匹配模型。

安装前准备（各平台）：

• Docker已安装并处于运行状态（前置条件，缺一不可）
• 40 GB 以上空闲磁盘（模型 + 容器镜像）
• macOS 建议 16 GB 统一内存以上

详细支持矩阵可查阅ods/docs/SUPPORT-MATRIX.md与ods/docs/HARDWARE-GUIDE.md。

🚀 一键安装步骤

Linux / macOS：一行命令

打开终端，执行：

curl -fsSL https://install.osmantic.com/ods.sh | bash

Windows：PowerShell 脚本

先装好 Docker Desktop（启用 WSL2 后端）并确认其正在运行，然后在普通用户的 PowerShell 窗口中执行：

$ProgressPreference = "SilentlyContinue" $odsSrc = Join-Path $env:TEMP ("ods-install-" + [guid]::NewGuid().ToString("N")) $odsZip = Join-Path $odsSrc "ods-main.zip" New-Item -ItemType Directory -Path $odsSrc | Out-Null Invoke-WebRequest "https://gitcode.com/GitHub_Trending/dr/ODS/archive/refs/heads/main.zip" -OutFile $odsZip Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass .\install.ps1

💡 也可克隆仓库后运行根目录的 install.sh（Linux/macOS）或 install.ps1（Windows）：git clone https://gitcode.com/GitHub_Trending/dr/ODS

常用安装参数

⚡ 引导模式：2 分钟开始聊天

ODS 默认启用引导模式（Bootstrap Mode），这是新手体验最好的设计：

1. 先下载一个 1.5B 的小模型，不到一分钟
2. 你立刻可以开始聊天
3. 完整大模型在后台静默下载
4. 下载完成后热切换，零中断

不用盯着进度条干等几个小时，这才是本地 AI 该有的样子。

🖥️ 安装完成后：打开你的AI服务器

安装结束，浏览器打开：

• 聊天界面：http://localhost:3000—— Open WebUI，支持对话历史、文档上传、30+ 语言
• 控制面板：http://localhost:3001—— Dashboard，实时 GPU 指标、服务健康、模型管理
• API 端点：Linux Docker 默认http://localhost:11434（llama-server），macOS/Windows 原生路径默认http://localhost:8080

首次验证安装：

ods status # 健康检查 + GPU 状态 ods chat "Say exactly: ODS is ready." # 直接对话测试 ods doctor # 诊断问题

🧠 模型自动选择：硬件决定能跑什么

安装器根据你的显存/内存自动匹配模型，以下是常见档位示例（完整表格见 README.md 的 Hardware Auto-Detection 章节）：

想换模型随时可以：

ods model list # 查看所有可用档位 ods model swap T3 # 切换到 T3 档位（加载失败会自动回滚）

完整模型管理策略见ods/docs/MODEL-MANAGEMENT.md。

🧩 扩展系统：把每个服务都当作插件

ODS 高度可定制——每个服务都是一个扩展（一个带 manifest.yaml + compose.yaml 的文件夹）。内置 30+ 服务全部这样组织，放在ods/extensions/services/下，例如：

• ods/extensions/services/n8n/—— 工作流自动化
• ods/extensions/services/comfyui/—— 图像生成
• ods/extensions/services/whisper/—— 语音转文字
• ods/extensions/services/qdrant/—— RAG 向量库

管理命令简单直接：

ods list # 查看所有服务及状态 ods enable n8n # 启用一个扩展 ods disable whisper # 禁用一个 ods logs llm # 看推理引擎日志 ods start / ods stop # 整体启停

想加自定义服务？把一个文件夹丢进扩展目录，运行ods enable 你的服务即可。扩展机制详解见ods/docs/EXTENSIONS.md。

📁 常用资料速查

🛠️ 常见问题快速排障

❓ 显存不足 / Out of Memory选择更低档位重装，或调低.env中的CTX_SIZE。若启用了 Hermes 智能体，上下文至少保留 65536，否则安装时加--no-hermes。

❓ 聊天界面看不到模型推理引擎可能还在加载或完整模型还在下载，用ods status和docker compose logs llama-server查看。

❓ 端口冲突每个端口都可用环境变量覆盖，例如WEBUI_PORT=9090 ./install.sh；若 Ollama Desktop 已占用 11434，改OLLAMA_PORT即可。全部端口列表见ods/config/ports.json。

❓ 以后想卸载

cd ~/ods && ./ods-uninstall.sh --force # Linux/macOS .\ods.ps1 uninstall --force # Windows

加--keep-data/--keep-models可保留本地数据与模型。

✅ 总结：为什么 2026 年本地AI应该"拥有"而非"租用"

ODS 把私有AI服务器从"折腾项目"变成了"安装软件"：

• ⚡一条命令完成安装、GPU 检测、模型选择、凭据生成、服务启动
• 🕒2 分钟内开始对话，完整模型后台静默下载
• 🔒数据主权：提示词、文档、对话历史全部留在本地，可选云/混合模式
• 🧩无限可玩：语音、智能体、工作流、RAG、生图，全部一键启用
• 🆓Apache 2.0 开源，免费使用、修改、二次分发

你的电脑 + ODS = 一台只属于你的 AI 服务器。现在就可以开始 🚀

【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODS