当前位置：首页 > news >正文

SmallThinker-3B快速上手：Postman调用Ollama API实现批量COT推理测试

news 2026/8/20 16:56:26

SmallThinker-3B快速上手：Postman调用Ollama API实现批量COT推理测试

1. 环境准备与模型部署

在开始使用SmallThinker-3B模型进行批量推理测试之前，我们需要先完成基础环境的搭建。

1.1 安装Ollama框架

Ollama是一个轻量级的模型部署框架，支持多种开源大语言模型。安装过程非常简单：

# Linux/macOS 安装命令 curl -fsSL https://ollama.ai/install.sh | sh # Windows 安装（需要先安装WSL） winget install Ollama.Ollama

安装完成后，启动Ollama服务：

ollama serve

1.2 拉取SmallThinker-3B模型

SmallThinker-3B-Preview是基于Qwen2.5-3b-Instruct微调的专用模型，特别适合边缘设备部署和长链推理任务：

# 拉取模型 ollama pull smallthinker:3b # 验证模型是否成功加载 ollama list

如果看到smallthinker:3b在列表中，说明模型已经准备就绪。

2. 理解SmallThinker-3B的核心特性

SmallThinker-3B-Preview是一个专门为链式思维（Chain-of-Thought）推理优化的模型，具有以下突出特点：

轻量高效：仅3B参数，可在资源受限的边缘设备上运行
长文本处理：支持超过8K tokens的长输出，适合复杂推理任务
推理加速：作为QwQ-32B-Preview的草稿模型，推理速度提升70%
开源数据集：基于公开的QWQ-LONGCOT-500K数据集训练，促进研究社区发展

这个模型特别适合需要多步推理、逻辑分析和长文本生成的场景。

3. Postman调用Ollama API基础

3.1 Ollama API接口概述

Ollama提供了RESTful API接口，主要端点包括：

POST /api/generate- 文本生成
POST /api/chat- 对话接口
GET /api/tags- 获取模型列表
POST /api/pull- 拉取模型

对于批量COT推理测试，我们主要使用/api/generate端点。

3.2 基础API调用示例

首先让我们通过一个简单的例子了解如何用Postman调用Ollama：

# 基础curl示例 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "smallthinker:3b", "prompt": "请解释什么是链式思维推理", "stream": false }'

在Postman中，你需要设置：

请求方法：POST
请求URL：http://localhost:11434/api/generate
Headers：Content-Type: application/json
Body：raw JSON格式

4. 批量COT推理测试实战

4.1 设计测试用例集

对于链式思维推理测试，我们需要设计包含多步推理的问题集：

{ "test_cases": [ { "id": 1, "prompt": "如果明天下雨，学校会取消运动会。今天天气预报说明天有80%的概率下雨。请问学校取消运动会的可能性有多大？请逐步推理。", "expected_keywords": ["概率", "可能性", "80%", "推理"] }, { "id": 2, "prompt": "一个篮子里有5个苹果和3个橘子。小明拿走了2个苹果，然后又放回了1个橘子。现在篮子里有多少个水果？请展示计算过程。", "expected_keywords": ["计算", "总数", "苹果", "橘子"] } ] }

4.2 配置Postman批量请求

在Postman中创建批量请求集合：

创建Collection：命名为"SmallThinker批量测试"
设置环境变量：定义base_url、model_name等变量
创建请求模板：配置通用的API设置

请求Body模板：

{ "model": "{{model_name}}", "prompt": "{{prompt}}", "stream": false, "options": { "temperature": 0.7, "top_p": 0.9, "num_predict": 1024 } }

4.3 执行批量测试脚本

在Postman的Tests标签页中，添加验证脚本：

// 验证响应是否成功 pm.test("Status code is 200", function () { pm.response.to.have.status(200); }); // 检查响应包含推理过程 pm.test("Response contains reasoning", function () { const response = pm.response.json(); pm.expect(response.response).to.include("推理"); }); // 保存响应结果 const response = pm.response.json(); pm.collectionVariables.set("response_" + pm.info.iteration, response.response);

4.4 自动化批量测试流程

使用Postman的Collection Runner实现自动化测试：

准备测试数据：创建CSV文件包含所有测试用例
配置运行参数：设置迭代次数、延迟等
执行批量测试：运行并监控测试进度

示例CSV数据文件：

prompt,test_id "请推理：如果所有人类都是哺乳动物，所有哺乳动物都是动物，那么人类是动物吗？",1 "计算：一家餐厅有20张桌子，每张桌子最多坐4人。如果今晚有75位客人，需要多少张桌子？请分步计算。",2

5. 结果分析与性能评估

5.1 响应结果解析

批量测试完成后，我们需要分析模型的推理能力：

// 结果分析示例代码 function analyzeResponses(responses) { const analysis = { total_tests: responses.length, success_count: 0, avg_response_length: 0, reasoning_quality: [] }; responses.forEach((response, index) => { const text = response.response; analysis.avg_response_length += text.length; // 检查是否包含推理关键词 const hasReasoning = /推理|步骤|计算|因为|所以/i.test(text); if (hasReasoning) analysis.success_count++; analysis.reasoning_quality.push({ test_id: index + 1, length: text.length, has_reasoning: hasReasoning, quality_score: calculateQualityScore(text) }); }); analysis.avg_response_length /= responses.length; analysis.success_rate = (analysis.success_count / analysis.total_tests) * 100; return analysis; }

5.2 性能指标监控

在批量测试过程中，监控关键性能指标：

响应时间：每个请求的处理时间
Token使用：输入和输出的token数量
推理质量：基于规则的质量评分
一致性：相同问题多次测试的结果一致性

6. 高级技巧与最佳实践

6.1 优化提示词设计

为了提高COT推理效果，提示词设计至关重要：

{ "prompt": "请解决以下数学问题，并展示完整的推理过程：\n\n问题：{{problem}}\n\n请按照以下步骤进行：\n1. 分析问题关键信息\n2. 确定解题方法\n3. 逐步计算或推理\n4. 给出最终答案并验证\n\n开始解答：", "parameters": { "temperature": 0.3, "top_p": 0.9, "repeat_penalty": 1.1 } }

6.2 处理长文本输出

SmallThinker支持长文本生成，但需要适当配置：

{ "model": "smallthinker:3b", "prompt": "请详细分析气候变化对全球经济的影响，包括：\n1. 对农业的影响\n2. 对能源行业的影响\n3. 对国际贸易的影响\n4. 适应策略建议\n\n请提供全面的分析：", "options": { "num_predict": 2048, "top_k": 40, "repeat_penalty": 1.0 }, "stream": false }

6.3 错误处理与重试机制

在批量测试中添加健壮的错误处理：

// Postman测试脚本中的错误处理 if (pm.response.code !== 200) { console.log("请求失败，状态码：" + pm.response.code); // 实现重试逻辑 const maxRetries = 3; const retryCount = pm.collectionVariables.get("retry_count") || 0; if (retryCount < maxRetries) { pm.collectionVariables.set("retry_count", retryCount + 1); postman.setNextRequest(pm.info.requestName); } else { pm.collectionVariables.set("retry_count", 0); } }