当前位置：首页 > news >正文

Phi-3-vision-128k-instruct实战教程：Chainlit+LangChain多工具图文调用链

news 2026/8/28 0:38:34

Phi-3-vision-128k-instruct实战教程：Chainlit+LangChain多工具图文调用链

1. 模型简介

Phi-3-Vision-128K-Instruct 是一个轻量级的多模态模型，支持文本和视觉数据的处理。这个模型属于Phi-3系列，特别之处在于它支持长达128K的上下文长度（以标记为单位）。模型经过精心训练，结合了监督微调和直接偏好优化，确保能够准确遵循指令并具备强大的安全措施。

这个模型特别适合需要同时处理图像和文本的任务，比如：

图像内容描述
视觉问答
图文结合的分析任务
复杂场景的多模态推理

2. 环境准备与部署验证

2.1 检查模型部署状态

在开始使用前，我们需要确认模型服务已经成功部署。可以通过以下命令检查：

cat /root/workspace/llm.log

如果部署成功，日志中会显示模型加载完成的相关信息。如果看到类似"Model loaded successfully"的消息，说明模型已经准备好可以使用了。

2.2 部署成功标志

成功部署后，系统会显示以下关键信息：

模型名称和版本
加载的权重文件路径
可用的计算资源
服务端口信息

3. 使用Chainlit前端调用模型

3.1 启动Chainlit界面

Chainlit提供了一个简洁的Web界面，让我们可以方便地与模型交互。启动Chainlit后，你会看到一个用户友好的聊天界面，支持上传图片和输入文本。

界面主要功能区域包括：

图片上传区
文本输入框
对话历史记录
模型响应显示区

3.2 基本使用示例

让我们通过一个简单的例子来测试模型功能：

上传一张图片（比如一张猫的照片）
在输入框中提问："图片中是什么？"
模型会分析图片内容并给出回答，比如："这是一只橘色的猫，正躺在沙发上。"

4. 进阶功能：LangChain多工具集成

4.1 配置LangChain工具链

Phi-3-vision模型可以与LangChain的强大工具链结合使用。以下是一个基本的配置示例：

from langchain_community.tools import Tool from langchain.agents import initialize_agent # 创建视觉工具 vision_tool = Tool( name="ImageAnalysis", func=phi3_vision_model.analyze_image, description="Analyzes image content and answers questions about it" ) # 初始化代理 agent = initialize_agent( tools=[vision_tool], llm=phi3_vision_model, agent="zero-shot-react-description", verbose=True )

4.2 多工具协同工作示例

通过LangChain，我们可以构建更复杂的处理流程：

# 定义处理流程 def process_image_with_context(image_path, question): # 第一步：图像分析 image_description = vision_tool.run({"image": image_path, "question": "Describe this image in detail"}) # 第二步：基于描述的问答 answer = agent.run(f"Based on this description: {image_description}, answer: {question}") return answer

这个例子展示了如何先获取图像的详细描述，然后基于描述回答更复杂的问题。