Phi-3-mini-4k-instruct-gguf部署教程：Ubuntu 22.04 + vLLM 0.6.3 + Chainlit 1.2.0兼容配置

Phi-3-mini-4k-instruct-gguf部署教程：Ubuntu 22.04 + vLLM 0.6.3 + Chainlit 1.2.0兼容配置

1. 环境准备与模型介绍

1.1 系统要求

在开始部署前，请确保您的Ubuntu 22.04系统满足以下要求：

• 至少16GB内存（推荐32GB）
• 50GB可用磁盘空间
• Python 3.9或更高版本
• NVIDIA显卡（推荐RTX 3090或更高）并安装最新驱动
• CUDA 11.8或更高版本

1.2 Phi-3-mini-4k-instruct模型特点

Phi-3-Mini-4K-Instruct是一个38亿参数的轻量级开源模型，具有以下优势：

• 支持4K上下文长度
• 训练数据包含高质量合成数据和过滤后的公开网站数据
• 经过监督微调和直接偏好优化
• 在常识、语言理解、数学、代码等基准测试中表现优异

2. 基础环境配置

2.1 安装Python虚拟环境

sudo apt update sudo apt install python3-venv python3 -m venv phi3_env source phi3_env/bin/activate

2.2 安装CUDA和cuDNN

确保已正确安装NVIDIA驱动后：

sudo apt install nvidia-cuda-toolkit

2.3 安装基础依赖

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers

3. vLLM 0.6.3部署

3.1 安装vLLM

pip install vllm==0.6.3

3.2 下载模型权重

git clone https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf cd Phi-3-mini-4k-instruct-gguf

3.3 启动vLLM服务

python -m vllm.entrypoints.api_server \ --model microsoft/Phi-3-mini-4k-instruct-gguf \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9

3.4 验证服务运行

curl http://localhost:8000/v1/models

应返回类似以下响应：

{ "object": "list", "data": [{"id": "Phi-3-mini-4k-instruct-gguf", "object": "model"}] }

4. Chainlit 1.2.0前端集成

4.1 安装Chainlit

pip install chainlit==1.2.0

4.2 创建前端应用

新建app.py文件：

import chainlit as cl from openai import AsyncOpenAI client = AsyncOpenAI( base_url="http://localhost:8000/v1", api_key="no-key-required" ) @cl.on_message async def main(message: cl.Message): response = await client.chat.completions.create( model="Phi-3-mini-4k-instruct-gguf", messages=[{"role": "user", "content": message.content}], temperature=0.7, ) await cl.Message(content=response.choices[0].message.content).send()

4.3 启动Chainlit应用

chainlit run app.py -w

应用将在http://localhost:8000启动

5. 常见问题解决

5.1 模型加载失败

如果遇到模型加载问题，尝试：

export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128

5.2 内存不足

减小--gpu-memory-utilization参数值：

python -m vllm.entrypoints.api_server \ --model microsoft/Phi-3-mini-4k-instruct-gguf \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.7

5.3 端口冲突

修改默认端口：

python -m vllm.entrypoints.api_server --port 8001

6. 总结

通过本教程，您已经成功在Ubuntu 22.04系统上部署了Phi-3-mini-4k-instruct-gguf模型，并使用vLLM 0.6.3和Chainlit 1.2.0构建了完整的文本生成应用。这套方案具有以下优势：

1. 轻量高效：38亿参数模型在消费级GPU上即可流畅运行
2. 易于扩展：vLLM提供高性能推理后端
3. 交互友好：Chainlit提供简洁的Web界面
4. 兼容性强：支持标准OpenAI API协议

建议定期检查模型更新，以获得更好的性能和功能支持。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。