当前位置：首页 > news >正文

Phi-3.5-mini-instruct保姆级教程：从镜像拉取、服务启动到首问响应全记录

news 2026/7/9 15:55:01

Phi-3.5-mini-instruct保姆级教程：从镜像拉取、服务启动到首问响应全记录

1. 准备工作与环境配置

1.1 了解Phi-3.5-mini-instruct模型

Phi-3.5-mini是一个轻量级的开放模型，属于Phi-3模型家族。它基于高质量的训练数据集构建，特别注重推理能力的提升。这个模型支持长达128K令牌的上下文长度，经过多种优化技术的训练，包括监督微调、策略优化和直接偏好优化，确保能够准确理解并执行用户指令。

1.2 系统要求

在开始部署前，请确保您的系统满足以下最低要求：

操作系统：Linux (推荐Ubuntu 20.04或更高版本)
内存：至少16GB RAM
存储空间：至少20GB可用空间
GPU：NVIDIA显卡(推荐RTX 3090或更高)，显存至少12GB
Python版本：3.8或更高

2. 镜像拉取与部署

2.1 获取Phi-3.5-mini-instruct镜像

首先，我们需要获取模型镜像。如果您使用的是CSDN星图平台，可以直接在镜像广场搜索"Phi-3.5-mini-instruct"并一键部署。

对于手动部署的用户，可以使用以下命令拉取镜像：

docker pull csdn-mirror/phi-3.5-mini-instruct:latest

2.2 启动模型服务

拉取镜像完成后，使用以下命令启动服务：

docker run -d --gpus all -p 8000:8000 \ -v /path/to/models:/models \ csdn-mirror/phi-3.5-mini-instruct:latest \ python -m vllm.entrypoints.api_server \ --model /models/phi-3.5-mini-instruct \ --tensor-parallel-size 1

参数说明：

--gpus all: 使用所有可用GPU
-p 8000:8000: 将容器端口映射到主机端口
-v /path/to/models:/models: 挂载模型目录
--tensor-parallel-size 1: 设置并行度为1(单GPU)

3. 验证服务部署

3.1 检查服务状态

服务启动后，可以通过以下命令检查日志确认是否部署成功：

docker logs <container_id> > llm.log cat llm.log

成功部署后，您应该能看到类似以下内容的日志输出：

INFO: Started server process [1] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000

3.2 测试API接口

您可以使用curl命令测试API是否正常工作：

curl http://localhost:8000/v1/models

正常响应应返回模型信息：

{ "object": "list", "data": [ { "id": "phi-3.5-mini-instruct", "object": "model", "created": 1710000000, "owned_by": "microsoft" } ] }

4. 使用Chainlit搭建前端界面

4.1 安装Chainlit

首先安装Chainlit库：

pip install chainlit

4.2 创建Chainlit应用

创建一个名为app.py的文件，内容如下：

import chainlit as cl import requests @cl.on_message async def main(message: cl.Message): response = requests.post( "http://localhost:8000/v1/chat/completions", json={ "model": "phi-3.5-mini-instruct", "messages": [{"role": "user", "content": message.content}], "temperature": 0.7, "max_tokens": 2048 } ) if response.status_code == 200: result = response.json() await cl.Message(content=result["choices"][0]["message"]["content"]).send() else: await cl.Message(content=f"请求失败: {response.text}").send()