iFixAi 裁判选择完全参考：单裁判 vs 多裁判集成，成本与可靠性怎么算

iFixAi 裁判选择完全参考：单裁判 vs 多裁判集成，成本与可靠性怎么算

【免费下载链接】iFixAiIndependent Auditing of AI Agents. Run by human or the agent itself, to answer the most crucial question in the AI Agent Economy. Is the agent doing what is supposed to do? With iFixAi you can have this answer in less than 120 seconds.项目地址: https://gitcode.com/gh_mirrors/if/iFixAi

iFixAi 是一款独立 AI Agent 审计工具：它对你的智能体运行 50 项治理检查，在 120 秒内给出 A–F 等级评分卡。但真正决定这份评分"值不值得引用"的，是被很多人忽略的裁判模型（Judge）选择——裁判是谁，直接决定了审计成本花多少、结论有多可靠。本文把 iFixAi 的 4 种裁判模式（deterministic/single/full/self）拆开讲清楚，并帮你算好成本与可靠性的账。

一、先搞懂角色：被测者（SUT）和裁判必须分开

iFixAi 的每次运行都有两个角色：

关键原则只有一条：Agent 不能给自己打分。只要环境里存在第二个供应商的 API Key，iFixAi 就会自动从它那里选裁判，并明确排除 SUT 自己的供应商。只有一把 Key 时，运行会直接拒绝——除非你显式声明--eval-mode self（此时分数会打印，但被标记为"自评"，不可引用）。

社区里已经有近千次审计运行在跑，"怎么配裁判省钱又可靠"是出现频率最高的实际问题。

二、4 种裁判模式速览：一张表看懂

完整参数说明见 docs/cli.md 的 "How a run is judged" 章节：

💡 注意：无论哪种模式，检查项都是同样的 50 项——区别只在"谁来判分"，而不是"考多少题"。

三、成本怎么算：一次审计到底花多少钱

先建立两个数字概念：

• 裁判调用次数：一次完整套件运行约产生2,000 次裁判 LLM 调用（套件生成的探针远多于 50 个测试项本身，所以这个数字在不同 fixture 下相当稳定）；
• 账单分两部分：裁判费用按上表计，被测 Agent（SUT）单独计费。

官方推荐的两种高性价比配置（OpenRouter 列表价，2026 年中）：

三个省钱的实操技巧：

1. 花钱前先询价：--dry-run会先打印检查项和裁判调用估算再退出，不花一分钱；
2. 给裁判设预算上限：--judge-budget N限制单次运行的裁判调用次数（0= 不限制），防止死循环的裁判把 Key 抽干；
3. 只跑你需要的套件：--suite strategic只跑 8 项高风险检查，成本按比例大幅下降。

四、单裁判模式（single）：最简的可引用配置

ifixai run --provider openai --api-key "$OPENAI_API_KEY" \ --eval-mode single --judge-provider openrouter --judge-model anthropic/claude-sonnet-4.6

优点：配置最简、结果可引用；Sonnet 是官方评价中"最简单的高质量单裁判"。

局限：等级完全由一个模型说了算——如果这个模型对某类回答有系统性偏好（比如对含糊回答一律宽松），没有第二方来制衡。

五、多裁判集成（full模式）：多数投票这样工作

Full 模式要求--mode full、一个手工构建的 fixture（docs/fixture_authoring.md 有完整教程）和≥2 个来自不同供应商的裁判：

ifixai run --mode full --eval-mode full \ --fixture ./my-fixture.yaml \ --judge-provider openrouter --judge-model google/gemini-2.5-pro \ --judge-provider openrouter --judge-model openai/gpt-5.4-mini

集成裁判的聚合逻辑在 ifixai/evaluation/analytic_judge.py 的EnsembleAnalyticRubricJudge中：

1. 并行打分：所有裁判同时独立评估，互不可见；
2. 取均值：总体得分 = 各裁判加权得分的均值；
3. 逐维度共识：每个评分维度按"过半数通过"裁定，平票时保守处理（fail > partial > pass，即拿不准就判不通过）；
4. 强制项一票否决：任一裁判认定"强制维度"不通过，共识中该维度仍失败则整体判 fail。

这套机制带来两个可靠性红利：跨供应商制衡（没有任何单一模型或厂商能左右你的等级）和故障冗余（一个裁判挂了，另一个还能给出有效判定）。

⚠️ 一个反直觉的事实：官方推荐的"双裁判"组合（~$10–14）比单跑一个 Sonnet（~$12–18）还便宜——多裁判不等于更贵。

六、可靠性加分项：裁判回退链（Judge Fallbacks）

当裁判供应商本身抽风（502/503、超时）时，iFixAi 不会让整次运行报废，而是把该探针切换到回退链中的下一个模型重试。默认链（见 docs/cli.md "Judge fallback models"）：Gemini 2.5 Flash → GPT-4o mini → Haiku 4.5 → DeepSeek V3.2 → Qwen3 235B → GLM-5.2，按"最便宜最简洁优先"排序。

三个值得知道的设计细节：

• SUT 自己的模型永远被剔除出回退链——回退绝不能把"跨供应商评分"悄悄变成"自评"；
• 失败的模型整场运行内退役，不会反复撞死墙；
• 评分卡会显式报告substitute judge graded this run和重试次数，等级永远署名它的真实来源。

七、怎么选：一张决策表收尾

八、总结

• 没有"最好的裁判"，只有匹配场景的裁判：冒烟测试用零成本模式，日常审计用单裁判，高利害决策才上多裁判集成；
• 可引用性来自"独立性"：裁判必须来自与 SUT 不同的供应商，这一点 iFixAi 在工具层面强制保证；
• 成本先询价：--dry-run+--judge-budget两个参数，让你在任何账单发生之前看清要花多少。

想深入的话，建议接着读 docs/scoring.md（等级如何由五大支柱加权算出）、docs/methodology.md（为什么默认跨供应商裁判）以及 case_studies/ 中的真实事故重建评分卡。

【免费下载链接】iFixAiIndependent Auditing of AI Agents. Run by human or the agent itself, to answer the most crucial question in the AI Agent Economy. Is the agent doing what is supposed to do? With iFixAi you can have this answer in less than 120 seconds.项目地址: https://gitcode.com/gh_mirrors/if/iFixAi