手把手教你：在无外网Linux服务器上，用Ollama离线部署CodeQwen-7B大模型（附Modelfile避坑指南）

企业级内网环境下的CodeQwen-7B大模型离线部署实战指南

在金融、军工等对数据安全要求极高的行业，开发环境往往部署在物理隔离的内网中。这种环境下想要部署AI大模型，传统的在线安装方式完全失效。本文将分享我在某金融机构私有云环境中部署CodeQwen-7B模型的全过程，包含三个关键阶段的完整解决方案。

1. 离线环境的前期准备

1.1 硬件与系统环境检查

在开始部署前，需要确认服务器满足以下最低配置要求：

通过以下命令检查CPU指令集支持：

grep -o -e 'avx2' /proc/cpuinfo | sort -u

1.2 离线软件包获取策略

在内网环境中，所有依赖都需要预先下载并传输。建议创建以下目录结构：

/opt/ollama_deploy/ ├── dependencies/ # 存放系统依赖包 ├── model_files/ # 存放模型文件 └── scripts/ # 存放安装脚本

提示：使用ldd $(which ollama)检查运行时依赖，确保所有.so文件都已准备

2. 模型文件的获取与验证

2.1 多源模型下载方案

对于无法直接访问外网的服务器，推荐以下两种文件传输方案：

1. 中转机方案：

   • 准备一台可联网的跳板机
   • 使用rsync同步到内网服务器：

   rsync -avzP -e "ssh -p 22" user@jump_host:/path/to/model /opt/ollama_deploy/model_files/

2. 物理介质方案：

   • 使用加密USB设备传输
   • 校验文件完整性：

   sha256sum codeqwen-7b.gguf > model.sha256 sha256sum -c model.sha256

2.2 模型格式转换实战

当只能获取到原始PyTorch格式(.bin)时，需要离线转换：

# 转换命令示例 python3 convert.py --input model.bin --output codeqwen-7b.gguf --quantize q8_0

常见问题处理：

• 缺少transformers库：提前下载whl文件离线安装
• 内存不足：添加--low-cpu-mem参数

3. Modelfile的深度配置解析

3.1 模板配置的黄金法则

CodeQwen-7B的对话模板需要特别注意特殊token的处理：

TEMPLATE """ {{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|> {{ end }}<|im_start|>assistant {{ .Response }}<|im_end|> """

关键参数说明：

• stoptokens必须与模板中的完全匹配
• 缩进格式会影响生成质量

3.2 性能优化参数组合

针对不同硬件配置推荐以下参数组合：

4. 生产环境部署实战

4.1 系统服务化部署

创建systemd服务实现开机自启：

# /etc/systemd/system/ollama.service [Unit] Description=Ollama Service After=network.target [Service] ExecStart=/usr/local/bin/ollama serve User=ollama Group=ollama Restart=always [Install] WantedBy=multi-user.target

管理命令：

sudo systemctl daemon-reload sudo systemctl enable --now ollama

4.2 容器化部署方案

对于需要隔离的环境，可使用Podman离线部署：

FROM alpine:latest COPY ollama /usr/local/bin/ COPY model_files /var/lib/ollama/ RUN adduser -D ollama && \ chown -R ollama:ollama /var/lib/ollama USER ollama EXPOSE 11434 CMD ["ollama", "serve"]

构建命令：

podman build -t ollama-codeqwen . podman run -d -p 11434:11434 --name ollama ollama-codeqwen

5. 高级调试技巧

当模型响应异常时，按以下步骤排查：

1. 检查日志详细输出：

OLLAMA_DEBUG=1 ollama run codeqwen:7b

2. 验证模板匹配：

# debug_template.py from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("codeqwen-7b") print(tokenizer("<|im_start|>system\nHello<|im_end|>"))

3. 内存分析工具：

valgrind --tool=memcheck ollama run codeqwen:7b

在内网部署过程中，最耗时的往往是依赖项的解决。建议提前准备包含以下工具的离线包：

• glibc兼容库
• CUDA Toolkit（如需GPU支持）
• OpenBLAS等数学库