当前位置：首页 > news >正文

DeepSeek-R1-Distill-Qwen-1.5B Agent插件开发：扩展模型功能实战

news 2026/8/2 18:43:52

DeepSeek-R1-Distill-Qwen-1.5B Agent插件开发：扩展模型功能实战

1. 引言：为何选择 DeepSeek-R1-Distill-Qwen-1.5B 进行 Agent 插件开发？

随着大模型在边缘设备上的部署需求日益增长，轻量级但高性能的模型成为开发者关注的焦点。DeepSeek-R1-Distill-Qwen-1.5B 正是在这一背景下诞生的“小钢炮”模型——通过使用 80 万条 R1 推理链对 Qwen-1.5B 进行知识蒸馏，实现了仅 1.5B 参数却具备接近 7B 模型的推理能力。

该模型不仅在 MATH 数据集上取得 80+ 分、HumanEval 达到 50+ 的优异表现，还支持函数调用、JSON 输出和 Agent 插件机制，使其非常适合用于构建本地化智能助手、代码辅助工具或嵌入式 AI 应用。更重要的是，其 fp16 版本仅需 3GB 显存，GGUF-Q4 量化后可压缩至 0.8GB，可在树莓派、手机甚至 RK3588 等低功耗设备上流畅运行。

本文将围绕如何基于 vLLM + Open WebUI 构建 DeepSeek-R1-Distill-Qwen-1.5B 的对话系统，并实现自定义 Agent 插件以扩展模型功能展开实战讲解。我们将从环境搭建、服务部署到插件开发全流程演示，帮助你快速打造一个可交互、可扩展的本地大模型应用。

2. 环境部署：使用 vLLM 和 Open WebUI 快速启动模型服务

2.1 技术选型与优势分析

为了最大化利用 DeepSeek-R1-Distill-Qwen-1.5B 的性能并简化部署流程，我们采用以下技术栈组合：

vLLM：高效的大模型推理引擎，支持 PagedAttention，显著提升吞吐量和显存利用率。
Open WebUI：轻量级前端界面，提供类 ChatGPT 的交互体验，支持插件系统和多模型切换。
Docker Compose：统一管理容器化服务，确保部署一致性。

相比直接调用 Hugging Face Transformers 或 Llama.cpp，该方案具备以下优势：

方案	启动速度	显存占用	扩展性	部署难度
Transformers + FastAPI	中等	高	一般	中等
Llama.cpp + webui	慢	低	差	高
vLLM + Open WebUI	快	低	强	低（一键部署）

2.2 部署步骤详解

步骤 1：准备运行环境

确保主机满足以下条件： - 至少 6GB 可用显存（推荐 RTX 3060 及以上） - 安装 Docker 和 Docker Compose - Python 3.10+（用于后续插件开发）

# 拉取 Open WebUI 官方镜像 docker pull ghcr.io/open-webui/open-webui:main # 使用 vLLM 启动 DeepSeek-R1-Distill-Qwen-1.5B docker run -d --gpus all --shm-size 1g \ -p 8080:80 \ -v ./models:/models \ vllm/vllm-openai:latest \ --model deepseek-ai/deepseek-r1-distill-qwen-1.5b \ --dtype auto \ --max-model-len 4096 \ --gpu-memory-utilization 0.9

步骤 2：配置 Open WebUI 连接 vLLM

创建docker-compose.yml文件：

version: '3.8' services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui ports: - "7860:8080" environment: - OLLAMA_BASE_URL=http://localhost:11434 - OPENAI_API_KEY=EMPTY - OPENAI_API_BASE_URL=http://host.docker.internal:8080/v1 volumes: - ./config:/app/config depends_on: - vllm networks: - webui-network vllm: image: vllm/vllm-openai:latest container_name: vllm-server ports: - "8080:80" command: - "--model=deepseek-ai/deepseek-r1-distill-qwen-1.5b" - "--dtype=auto" - "--max-model-len=4096" - "--gpu-memory-utilization=0.9" deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] networks: - webui-network networks: webui-network: driver: bridge

步骤 3：启动服务

docker-compose up -d

等待几分钟，待模型加载完成后访问http://localhost:7860即可进入 Open WebUI 界面。

提示：若你在 Jupyter 环境中运行，可将 URL 中的8888替换为7860访问 WebUI。

默认登录账号： -邮箱：kakajiang@kakajiang.com -密码：kakajiang

3. Agent 插件开发：为模型赋予外部能力

3.1 Agent 插件机制原理

DeepSeek-R1-Distill-Qwen-1.5B 支持函数调用（Function Calling），这是实现 Agent 能力的核心。当用户输入涉及外部操作时（如查询天气、执行代码、搜索网页），模型会生成结构化的 JSON 请求，由运行时解析并执行相应函数，结果再返回给模型进行最终回答。

Open WebUI 提供了插件系统接口，允许开发者通过编写 Python 函数注册自定义工具。

3.2 开发第一个插件：实时天气查询

我们将实现一个get_weather(location: str)插件，让模型能回答“北京今天天气怎么样？”这类问题。

步骤 1：安装依赖

pip install requests pydantic

步骤 2：编写插件代码

# plugins/weather.py import requests from typing import Dict from pydantic import BaseModel, Field class WeatherInput(BaseModel): location: str = Field(..., description="城市名称，如'北京'") def get_weather(location: str) -> Dict: """ 获取指定城市的实时天气信息 使用免费 API：https://www.apiopen.top/weatherApi?city={location} """ try: url = f"https://www.apiopen.top/weatherApi?city={location}" response = requests.get(url, timeout=5) data = response.json() if data["code"] == 200: info = data["data"] return { "city": location, "temperature": info["wendu"], "condition": info["shidu"], "pm25": info["pm25"], "tip": info["ganmao"] } else: return {"error": f"无法获取 {location} 天气数据"} except Exception as e: return {"error": str(e)}

步骤 3：在 Open WebUI 中注册插件

编辑~/.open-webui/plugins/custom_tool.py：

from .weather import get_weather from .weather import WeatherInput TOOLS = [ { "name": "get_weather", "description": "根据城市名获取实时天气情况", "parameters": WeatherInput.schema(), "function": get_weather } ]

重启 Open WebUI 容器使插件生效。

步骤 4：测试插件效果

在聊天框中输入：

北京今天天气如何？

模型将自动调用get_weather("北京")并整合返回结果生成自然语言回复，例如：

北京今天的温度是 23°C，湿度 65%，PM2.5 为 38，空气质量良好。温馨提示：天气变化较快，请注意适时增减衣物。

3.3 插件开发最佳实践

✅ 输入验证与错误处理

始终使用 Pydantic 模型定义参数结构，避免无效输入导致崩溃。

class SearchInput(BaseModel): query: str = Field(..., min_length=2, max_length=50)

✅ 控制调用频率

对于网络请求类插件，建议添加缓存机制防止重复调用：

from functools import lru_cache @lru_cache(maxsize=10) def cached_search(query): return search_api(query)

✅ 安全性考虑

不暴露敏感 API Key 到客户端
对用户输入做清洗和长度限制
避免执行任意代码（如eval()）

✅ 性能优化建议

将耗时操作异步化（使用async/await）
设置合理的超时时间（建议 5s 内完成）
插件响应应尽量简洁，避免传输大量数据

4. 实战案例：构建数学解题助手

结合 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH 数据集上的高分表现，我们可以构建一个支持“题目解析 + 步骤推导 + 结果验证”的数学 Agent。

4.1 功能设计

目标：用户输入一道初中数学题，模型调用符号计算插件求解并输出完整推理链。

所需插件： -solve_equation(equation: str)：使用 SymPy 解方程 -plot_function(expr: str)：绘制函数图像（可选）

安装依赖

pip install sympy matplotlib

编写解题插件

# plugins/math_solver.py from sympy import * from pydantic import BaseModel, Field import tempfile import os class EquationInput(BaseModel): equation: str = Field(..., description="数学方程字符串，如 'x**2 + 2*x - 3 = 0'") def solve_equation(equation: str) -> dict: """ 解单变量代数方程，返回解集 """ try: x = symbols('x') # 处理等号两边表达式 left, right = map(parse_expr, equation.split('=')) eq = Eq(left, right) solutions = solve(eq, x) return { "equation": equation, "solutions": [float(sol.evalf()) if sol.is_real else str(sol) for sol in solutions], "steps": f"Solving {eq} yields x = {solutions}" } except Exception as e: return {"error": str(e)}

注册到custom_tool.py后即可在对话中使用：