当前位置：首页 > news >正文

Qwen2.5-7B-Instruct部署不求人：vLLM加速+Chainlit前端，一步步教你

news 2026/8/19 17:58:25

Qwen2.5-7B-Instruct部署不求人：vLLM加速+Chainlit前端，一步步教你

1. 环境准备与快速部署

在开始之前，请确保你的系统满足以下最低要求：

操作系统：Ubuntu 20.04或更高版本（其他Linux发行版也可）
GPU：NVIDIA显卡，显存≥24GB（如RTX 3090、A100等）
CUDA：11.8或12.x版本
Python：3.10或更高版本

1.1 安装基础依赖

首先更新系统并安装必要的工具：

sudo apt update && sudo apt upgrade -y sudo apt install -y git wget curl python3-pip python3-venv

1.2 创建Python虚拟环境

为避免依赖冲突，我们创建一个独立的Python环境：

python3 -m venv qwen-env source qwen-env/bin/activate

1.3 安装vLLM和Chainlit

使用pip安装必要的Python包：

pip install vllm chainlit torch

注意：vLLM需要特定版本的PyTorch，如果遇到兼容性问题，可以尝试指定PyTorch版本：
pip install torch==2.3.0 --index-url https://download.pytorch.org/whl/cu118

2. 下载Qwen2.5-7B-Instruct模型

2.1 从ModelScope获取模型

国内用户推荐使用ModelScope下载：

git clone https://www.modelscope.cn/qwen/Qwen2.5-7B-Instruct.git cd Qwen2.5-7B-Instruct

2.2 模型文件结构验证

下载完成后，检查模型目录应包含以下关键文件：

Qwen2.5-7B-Instruct/ ├── config.json ├── model.safetensors.index.json ├── model-00001-of-00004.safetensors ├── tokenizer.json └── tokenizer_config.json

3. 使用vLLM启动模型服务

3.1 启动vLLM服务

运行以下命令启动模型服务：

python -m vllm.entrypoints.openai.api_server \ --model ./Qwen2.5-7B-Instruct \ --tokenizer ./Qwen2.5-7B-Instruct \ --dtype half \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --host 0.0.0.0 \ --port 8000

关键参数说明：

--dtype half：使用FP16精度减少显存占用
--gpu-memory-utilization 0.9：GPU显存利用率目标
--max-model-len 8192：最大支持8192 tokens的上下文长度

3.2 验证服务运行

服务启动后，可以通过curl测试API是否正常工作：

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "./Qwen2.5-7B-Instruct", "messages": [ {"role": "system", "content": "你是一个有帮助的助手"}, {"role": "user", "content": "介绍一下你自己"} ] }'

正常响应应包含模型的自我介绍。

4. 使用Chainlit构建前端界面

4.1 创建Chainlit应用文件

新建一个app.py文件，内容如下：

import chainlit as cl from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") @cl.on_message async def main(message: cl.Message): response = client.chat.completions.create( model="./Qwen2.5-7B-Instruct", messages=[ {"role": "system", "content": "你是一个有帮助的助手"}, {"role": "user", "content": message.content} ], temperature=0.7, ) await cl.Message(content=response.choices[0].message.content).send()

4.2 启动Chainlit前端

运行以下命令启动前端服务：

chainlit run app.py -w

默认会在浏览器打开http://localhost:8000，你可以直接与Qwen2.5模型进行交互。

5. 进阶配置与优化

5.1 提高并发性能

如果需要处理多个并发请求，可以调整vLLM参数：

python -m vllm.entrypoints.openai.api_server \ --model ./Qwen2.5-7B-Instruct \ --max-num-seqs 256 \ --max-num-batched-tokens 4096 \ --enable-chunked-prefill

5.2 自定义Chainlit界面

Chainlit支持丰富的UI定制，例如添加头像、调整布局等。修改app.py：

@cl.on_chat_start async def start(): await cl.Avatar( name="Qwen", url="https://example.com/qwen-avatar.png" ).send()

5.3 添加对话历史

要实现多轮对话，可以修改Chainlit应用：

@cl.on_chat_start async def start(): cl.user_session.set("history", []) @cl.on_message async def main(message: cl.Message): history = cl.user_session.get("history") messages = [{"role": "system", "content": "你是一个有帮助的助手"}] messages.extend(history) messages.append({"role": "user", "content": message.content}) response = client.chat.completions.create( model="./Qwen2.5-7B-Instruct", messages=messages, temperature=0.7, ) history.extend([ {"role": "user", "content": message.content}, {"role": "assistant", "content": response.choices[0].message.content} ]) await cl.Message(content=response.choices[0].message.content).send()