当前位置：首页 > news >正文

【llama.cpp】llama.cpp部署大模型

news 2026/7/27 2:57:31

官方文档

https://github.com/ggml-org/llama.cpp

使用windows的编译exe

下载编译的文件

https://github.com/ggml-org/llama.cpp/releases

有GPU下载带cuda的

使用命令行工具llama-cli

解压文件后启动终端
输入以下查看可用的命令

llama-cli-h

启动模型

llama-cli.exe-mC:\xudawu\development\20260226_llamacpp_models\unsloth\Qwen3-4B-Thinking-2507-GGUF\Qwen3-4B-Thinking-2507-Q4_K_M.gguf-ngl100

-m指定模型位置，如果模型很大有多个gguf切片，只需要给出一个剩下的会自动索引
-ngl指定模型加载到GPU的层数

直接测试对话

测试性能llama-bench

使用llama-bench.exe工具测试此电脑的性能

llama-bench.exe-mC:\xudawu\development\20260226_llamacpp_models\unsloth\Qwen3-4B-Thinking-2507-GGUF\Qwen3-4B-Thinking-2507-Q4_K_M.gguf-ngl100

输入512token的速度，和输出128token的速度

启动模型服务llama-server

llama-server.exe-mC:\xudawu\development\20260226_llamacpp_models\unsloth\Qwen3-4B-Thinking-2507-GGUF\Qwen3-4B-Thinking-2507-Q4_K_M.gguf --ctx-size16384--host0.0.0.0--port8080

--ctx-size上下文长度，不设置则默认为0，从模型配置中加载上下文长度
--port端口，默认为8080
-a指定模型服务启动的名字，不设置则默认使用-m指定的文件名

启动成功

启动webui

进入指定的网址进入llama自带的web界面

启动多模态模型服务

下载视觉投影模型mmproj-BF16.gguf

启动模型服务

llama-server.exe-mmodels/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-Q4_K_M.gguf--mmprojmodels/Qwen3.5-35B-A3B-GGUF/mmproj-BF16.gguf --ctx-size32768--host0.0.0.0--port8080

--mmproj models/Qwen3.5-35B-A3B-GGUF/mmproj-BF16.gguf指定multimodal projector的位置

获得所有模型

启动服务并指定模型文件夹地址

llama-server.exe --models-dir C:\xudawu\development\20260226_llamacpp_models\unsloth --sleep-idle-seconds180

通过get请求可以获得可用模型

以下参数在服务器空闲多少秒时卸载模型

--sleep-idle-seconds

官方文档

https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md

使用docker

官方教程

https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md

选择这个镜像

启动容器服务

启动单个模型

dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models ghcr.io/ggml-org/llama.cpp:server-cuda-m/models/Qwen3.5-35B-A3B-Q4_K_M.gguf --ctx-size32768--host0.0.0.0--port8080

推荐使用--ctx-size 32768设置固定上下文长度
而使用-fitc 32768设置最小上下文长度，启动模型时会自动检测可用显存然后拓展上下文长度，会增加显存占用和减慢模型首次启动速度

启动服务，模型按需加载

dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models" ghcr.io/ggml-org/llama.cpp:server-cuda --models-dir /models --sleep-idle-seconds1800--ctx-size32768--host0.0.0.0--port8080

如果使用的是full-cuda的镜像

启动单个模型

dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models ghcr.io/ggml-org/llama.cpp:full-cuda--server-m/models/Qwen3.5-35B-A3B-Q4_K_M.gguf --ctx-size32768--host0.0.0.0--port8080

启动服务，模型按需加载

dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models ghcr.io/ggml-org/llama.cpp:full-cuda--server--models-dir /models --sleep-idle-seconds1800--ctx-size32768--host0.0.0.0--port8080