LLM-as-a-judge有30%评测偏差？这篇论文给出修复方案

用LLM给LLM打分，这个看起来很聪明的做法正在让AI评估变得不可靠。KRAFTON AI的这个工作直指当前LLM评估体系的软肋：作为评判者的语言模型本身就带有系统性偏差，而这种偏差在Chatbot Arena等主流基准测试中可以达到30%左右。也就是说排行榜上那些令人兴奋的性能提升，有相当一部分可能是评估方法的偏差。

评判机制的运作方式

LLM-as-a-judge就是让一个语言模型去评价另一个模型的输出，典型的prompt类似于"这个回答正确吗"或者"两个回答哪个更好"。评判者返回分数或偏好，汇总后得到准确率、胜率之类的指标。

这套流程看着非常完美：人工标注既慢又贵，尤其对话、摘要、创意写作这类开放式任务更是如此，而LLM评判者成本低、速度快、输出稳定，还能给出看起来很有说服力的理由。

所以LLM-as-a-judge已经成了事实上的行业标准，Chatbot Arena用它、无数论文也用它。

偏差从何而来

语言模型做评估时会犯错，但问题不在于犯错本身而在于错误不是随机的它们有规律可循。

论文用两个经典统计指标来刻画这一点：敏感性（q₁）表示正确识别好输出的概率，特异性（q₀）表示正确识别差输出的概率，理想情况下两者都等于1而实际却从来不是。

多数评估直接把评判者标记的"正确"比例当作真实性能，但除非评判者是完美的否则这个观察值就是有偏估计。

我们举个例子：假设评判者对好答案和差答案各有20%的错误率，即便误差对称估计出的准确率也会是真实值的扭曲版本。这样差模型被高估而好模型被低估，而且不同论文用不同评判者，比较就彻底失去意义。

论文里面说在Chatbot Arena数据集上未经校正的偏差接近30%，这个量级足以把一个真正的进步变成看起来的退步或者反过来。

无标签数据也不是免费午餐

我们都会认为观点认为：只要评判者够强，无标签数据就能替代标注数据，这样测试集规模上去了就会消除这个误差。

而这篇论文对此给出了干脆的否定：如果没有标签来直接测准确率就必须有标签来校准评判者。真实值绕不开，只是换了个使用方式。

如果不做校准模型质量和评判者偏差就分不开，只有做了校准才能分离二者。于是就有了一个实际的资源分配问题：如果给定固定的标注预算，是全部用于直接评估模型还是拿一小部分校准评判者、然后在大规模无标签集上评估？

适用边界在哪里

这个问题可以清晰的通过统计学进行回答：

当系统真实准确率在50%附近时直接人工评估的方差最大，需要大量标签才能得到可靠估计。这时候校准过的LLM评判者配合海量无标签数据效率确实更高。

但当系统已经很强或很弱，比如准确率接近0或1那么直接评估反而更好，估计极端概率本身就容易，评判者校准只会引入额外不确定性。

所以说：LLM-as-a-judge是条件性工具，并且只在特定区间有效盲目套用则适得其反。

校正方法

论文借鉴了流行病学中的Rogan-Gladen估计器。原理如下：先在一小批有标签的样本上测出评判者与人类的一致率得到敏感性和特异性的估计值；然后用这两个参数对观察到的分数做数学校正剥离评判者的系统性误差。

结果得到了无偏估计，跨多个模型和基准的实验显示校正后大幅偏差基本消失，并且在某些在朴素评估下看起来稳定的排名校正后发生了逆转。

不确定性量化

校正偏差只是第一步，正确的评估还需要报告评估的不确定性。论文给出的置信区间构造方法考虑了两个方差来源：测试集评估的随机性，以及校准集估计误差率的随机性。

采用带稳定性调整的修正Wald方法后，模拟实验中实现了接近名义的覆盖率——报告95%区间时，真值落在其中的频率确实约为95%。

大量AI论文隐含地宣称确定性而实际上并不存在。两个百分点的改进，如果置信区间重叠哪就什么都不是。严格的区间能遏制过度宣称给炒作降温。

自适应校准策略

论文还有个微妙的发现：不同位置的校准标签价值不等。

错误率在0.5附近时方差最大需要更多样本才能估准。作者提出自适应方案是先跑小规模试点校准，定位不确定性最高的区域，再把剩余标注预算集中投向那里。

实测效果是置信区间缩短10%到20%，好的评估是数据量和数据质量的平衡。

分布偏移下的表现

现实中校准数据和测试数据往往存在差异，很多现有方法比如prediction-powered inference依赖严格的同分布假设，如果假设破了保证也就没了。

论文框架只要求评判者的混淆矩阵保持稳定，在模拟的分布偏移场景下，它维持了无偏性而对照方法失效。

这种泛化性对快速迭代的基准测试尤其有价值：分布漂移是常态不是例外。

总结

LLM-as-a-judge是个好想法但它的统计基础一直没跟上，而这项工作证明自动化评估可以既可扩展又可靠，但是前提是要承认局限、校正偏差。

评估方法应该和模型架构得到同等重视：缩放定律再漂亮、训练技巧再巧妙，测量本身出了问题就全白搭。校准不是可选项而是基础设施级别的需求，如果打算用自动评判者就得为正确使用它分配资源。

而且并非所有任务都适合LLM评判，比如创意性、模糊性强的任务可能从校准后的自动化中获益；数学推理、事实核查这类精确领域，黄金标准标签仍然是刚需。

论文：

https://avoid.overfit.cn/post/17bc4cc132b4453daed96e931c74b6b8