Ollama本地部署实战：从安装到API调用与Agent集成
这次我们来看一套完整的 Ollama 本地部署与实战教程。内容从下载安装开始，一直覆盖到本地大模型跑起来之后怎么用：命令行对话、可视化 WebUI、REST API、Python 批量任务、Java 调用，以及 Agent 场景怎么接。如果你一直想在本机跑一个开源大模型，又不想折腾复杂的 Python 虚拟环境、手动下载模型权重和 CUDA 配置，这篇内容可以直接按章节操作。
Ollama 是目前本地部署大语言模型最常用的工具之一。它的核心思路是把模型下载、量化格式、推理服务、HTTP API 这些本该分开处理的事情，统一封装成一个本地服务。用户只需要安装一个程序，然后用一条命令拉取模型，再运行模型，就能得到一个既可以在终端对话、也可以被外部程序调用的本地大模型服务。这个服务默认监听在本机端口，后面接 WebUI、接脚本、接 Agent 框架都很方便。
整篇文章的实操顺序是：先安装 Ollama，再拉取一个模型，然后用命令行完成第一轮对话，接着接入网页界面，再走一遍 REST API 调用，最后用 Python 和 Java 各写一个调用示例。这样一圈跑下来，你得到的不仅是一个能聊天的模型，而是一个可以继续往项目里集成的本地推理后端。
1. Ollama 核心能力速览
在进入具体操作之前，先把 Ollama 的能力边界和门槛整理清楚。下面这张表只写 Ollama 本身具备的能力，模型的具体效果和资源占用要按你实际选择的模型来判断。
| 能力项 | 说明 |
|---|---|
| 项目类型 | 本地大语言模型运行与模型管理工具 |
| 开源情况 | 开源项目，支持 Windows / macOS / Linux |
| 核心功能 | 模型下载、量化运行、命令行交互、本地 HTTP API |
| 模型支持 | Llama、Qwen、DeepSeek、Mistral 等开源模型（以官方模型库为准） |
| 硬件要求 | CPU 可运行小模型；GPU 加速建议使用 NVIDIA 显卡并安装对应驱动 |
| 显存占用 | 取决于模型大小、量化等级和上下文长度，需按实际模型测试 |
| 启动方式 | 安装后通过命令行启动，服务默认监听 11434 端口 |
| API 能力 | 提供本地 REST API，支持对话、生成、模型列表等接口 |
| 批量任务 | 不内置队列，可通过 API 脚本自行扩展 |
| WebUI | 可接入 Open WebUI 等第三方界面 |
| 适合场景 | 本地开发测试、私有化部署、Agent 后端、离线推理 |
这里要明确一个概念：Ollama 不是模型本身，它是“跑模型的运行时”。同一台机器，换一个模型，显存占用和推理速度可能差别很大。所以后面所有关于资源和性能的验证，都要落到“具体模型 + 当前参数”上。
2. 适用场景与使用边界
Ollama 最适合的使用场景，是把模型放在自己的电脑或内网机器上跑。数据不出本机，没有按 token 计费的压力，断网也能用。这对三类人特别有价值：第一类是刚开始接触大模型，想快速跑通一个开源模型找感觉的开发者；第二类是希望把模型接入自有系统，比如写文档处理工具、批量文本分析脚本、企业内部问答机器人的后端工程师；第三类是做 Agent 相关开发的人，需要一个本地模型作为推理后端，方便反复调试和测试，不用担心外部 API 超时或接口配额。
它不适合的场景也很明确：如果你的目标是拿一个超大参数模型做生产级服务，或者需要与现有多云平台生态深度整合，那本地部署可能不是效率最高的路径。本地机器能跑的模型规模有限，推理速度也受限于单机硬件。遇到这种需求，更稳妥的做法是评估云上用模型 API 的方案，同时保留本地小模型做开发和联调。
合规边界必须单独说。本地部署不等于可以随意使用：开源模型也有对应的许可证，训练数据的版权、生成内容的用途、商用边界都要确认。如果涉及人脸、声音、个人隐私数据，必须确保有合法授权。不要把未经脱敏的敏感信息直接灌进任何模型服务，哪怕是本地服务。批量处理任务之前，先在小样本上验证效果和风险。
3. Ollama 本地部署环境准备
3.1 操作系统与硬件
Ollama 官方支持 Windows、macOS 和主流 Linux 发行版。硬件上，CPU 可以跑，但速度受限于算力和内存；有 NVIDIA 显卡会有明显加速，显存越大，能跑的模型越大。没有 NVIDIA 显卡的机器也不是不能试，选择小尺寸量化模型，用 CPU 推理一样可以完成功能验证，只是不要对速度抱太高期望。内存建议 16GB 起步，32GB 会更从容，因为模型权重本身要占内存，推理过程中的中间计算还会额外占用。
3.2 软件与驱动检查
Windows 用户建议先把系统更新到较新版本，NVIDIA 驱动也保持在一个较新的状态。Ollama 会尝试自动调用 GPU，如果驱动过旧，可能出现“模型能跑但只走 CPU”的情况。判断方法很简单：模型运行后，用nvidia-smi看 GPU 利用率，或者看 Ollama 自身输出的日志。如果你用的是 AMD 显卡，情况会复杂一些，建议先到官方文档确认支持状态再安装。
3.3 磁盘空间与端口规划
大语言模型的权重文件通常有两个主流格式：未量化的完整权重和量化后的精简权重。量化模型体积明显更小，对内存更友好，是本地部署的首选。即便如此，一个 7B 级别的量化模型也普遍需要数 GB 空间，建议部署前预留 30GB 以上的可用磁盘，避免拉取到一半空间不足。端口方面，Ollama 默认监听 11434，如果你本机已经有其他程序占用该端口，可以安装后通过环境变量修改监听地址和端口。后面讲安装时我会再提一次。
4. Ollama 下载安装与启动方式
4.1 Windows 安装
Windows 下最简单的方式是直接去官网下载安装包，下载完成后双击安装，一路确认即可。安装完成后，打开新的终端窗口，输入：
ollama --version如果能看到版本号，说明安装成功。注意：如果终端是安装前打开的，可能需要重新打开一个窗口，让环境变量生效。
4.2 macOS / Linux 安装
macOS 用户和 Linux 用户可以用官方安装脚本，脚本会把 Ollama 装到系统目录，并注册一个后台服务。命令模板如下，实际安装时请以官网当前提供的脚本为准：
curl -fsSL https://ollama.com/install.sh | sh安装完成后，输入ollama --version验证。Linux 下如果提示权限问题，可以检查当前用户是否有执行权限，或者按照脚本输出提示处理。
4.3 Docker 部署
如果你的环境里已经有 Docker，也可以选择容器方式部署。这种方式的好处是环境隔离、