当前位置：首页 > news >正文

如何验证 AI 技能好不好用：一套评估系统完整实战指南

news 2026/8/28 11:40:17

如何验证 AI 技能好不好用：一套评估系统完整实战指南

【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skills

你刚写完一组 MCP 工具，让大模型去调用，看起来"能跑"——但到底能答对多少？这不能靠感觉。skills 仓库里的 mcp-builder 模块内置了 AI 技能评估能力：它把一批测试题交给模型，让模型用你的工具作答，再逐题对照标准答案，输出一份量化报告。从出题到读结果，下面走一遍完整流程。

先把话说清楚：这套评估器在哪

它藏在仓库的skills/mcp-builder/目录下，核心就是一个脚本：skills/mcp-builder/scripts/evaluation.py。

工作方式一句话概括：连上你的 MCP 服务，列出全部工具，逐题喂入问题，跑完模型的完整调用循环，记录每题的答案、耗时和工具调用次数。连接方式支持 STDIO、SSE、HTTP 三种，本地进程和远程部署的服务都能测。同目录下的example_evaluation.xml是一个现成的测试文件样例，照着写即可。

📋 三步跑通评估

第一步，装依赖。只有两个包：anthropic SDK 和 mcp，都在skills/mcp-builder/scripts/requirements.txt里。

pip install -r skills/mcp-builder/scripts/requirements.txt

第二步，准备测试文件。格式是 XML：根节点<evaluation>，每个<qa_pair>里放一个<question>和一个<answer>，答案就是标准答案原文。

第三步，执行。本地 STDIO 服务最典型：

python skills/mcp-builder/scripts/evaluation.py \ -t stdio -c python -a my_server.py my_eval.xml

其中-t指定连接方式，-c是启动服务的命令，-a是传给服务的参数。如果服务部署在远端，把-t换成 sse 或 http，改传 URL，并可以附带自定义请求头做鉴权。

测试集怎么出题：10 道能"验真"的题

配套的出题指南在skills/mcp-builder/reference/evaluation.md，核心要求四条，建议一次出 10 道题：

只读且无害：答题只靠查询，不修改任何数据。这样评估可以反复跑，结果可比。
相互独立：题目之间无依赖，调换顺序不影响答案，方便单独复测。
答案可精确核对：单个数字、ID 或一段确定文本。比如"本金 1 万、月息复利 3 年，最终金额保留两位小数"，答案就是一个数字，对就是对。
答案稳定：不随时间变化。别用"当前有几条未读消息"这种题，下次跑结果就飘了。

另外两点决定这套测试是否有含金量。一是题目要"多跳"：一道题逼着模型连续调用多个工具才能凑出答案，单步查询测不出工具配合的问题。二是避免在题面里写工具字段名，用同义词或口语化表述——真实用户往往不知道你的字段叫channel_id，只说"那个频道"。

📊 报告里的四个关键指标怎么读

跑完后会生成一份 Markdown 报告，用-o参数可以存成文件。顶部是四个汇总值：

准确率：答对的题数除以总题数。注意判分是字符串精确比对，所以出题时必须在题面里写死输出格式（保留几位小数、只要数字等），否则 11614.72 和 $11,614.72 会被判错。
平均任务耗时：从提问到出答案的总时长。个别题目明显偏慢时，翻到该题的工具调用明细，看是哪个工具拖了后腿。
平均工具调用次数：偏少可能说明模型跳步，偏多则大概率是工具描述不清晰，模型在反复试错。
每题的 Summary 与 Feedback：这是模型被要求写下的"复盘"，Feedback 部分常直接点名某个工具命名含糊、参数没文档、报错看不懂。整份报告里它最有价值，往往直接就是改进清单。

模型解不出的题会返回 NOT_FOUND 计为失败，失败案例同样值得细看。