Windows 离线安装大模型
Windows 离线运行大模型核心方案：在有网机器下载“推理工具 + 模型文件”拷贝至离线机，通过 Ollama 或 LM Studio 加载 GGUF 格式模型即可完全断网使用。
一、核心步骤（两种主流方案）
- 准备阶段（需联网环境）：下载推理工具安装包（Ollama 或 LM Studio）及目标模型文件（.gguf 格式，如 Qwen3、Llama3.1、DeepSeek-R1 的量化版），存入移动硬盘。
- 传输与安装：将文件拷贝至离线 Windows 电脑，安装推理工具（无需联网验证）。
- 导入模型：将模型文件放入工具指定目录或通过界面“本地加载”功能指向文件路径。
- 验证运行：启动工具，选择已加载模型进行对话，确认断网状态下响应正常。
二、方案对比与选择
- Ollama（命令行/轻量级）：适合开发者或习惯终端操作者。需手动配置环境变量迁移模型目录（避免占满 C 盘），支持 API 调用，但无原生图形界面（需搭配 OpenWebUI 或 Chatbox）。
- LM Studio（图形化/易用）：适合普通用户。安装包自带模型管理界面，支持直接拖入 GGUF 文件加载，内置聊天窗口和 GPU 加速开关，零代码上手最快。
三、关键硬件与模型选型建议
- 内存门槛：8GB 仅能运行 3B-7B 小模型（速度慢）；16GB 推荐运行 7B-14B 量化模型（流畅）；32GB+ 可尝试 30B+ 模型。
- 显卡要求：NVIDIA 显卡（显存≥8GB）开启 CUDA 加速效果最佳；无独显可纯 CPU 运行但速度较慢。
- 模型格式：必须选择 GGUF 量化格式（如 Q4_K_M），体积小巧且兼容性强；避免下载原始 PyTorch/HuggingFace 格式（需复杂环境配置）。
四、离线操作避坑指南
- 模型存储迁移：Ollama 默认存 C 盘，安装前需新建文件夹（如 D:\ollama_models）并设置系统环境变量
OLLAMA_MODELS指向该路径，否则 C 盘易爆满。 - 服务启动：Ollama 安装后需确保后台服务运行（任务栏图标或命令行
ollama serve）；LM Studio 直接打开软件即可。 - 防火墙设置：若需局域网访问，离线机防火墙需放行 11434 (Ollama) 或 1234 (LM Studio) 端口，纯单机使用可忽略。
五、建议
建议优先尝试 LM Studio + Qwen3-7B-Instruct-GGUF 组合，图形化操作最稳妥；若需集成开发环境再选 Ollama。所有模型文件可前往 HuggingFace 或魔搭社区（ModelScope）提前下载 GGUF 版本。