Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News...
文章主要内容与创新点总结
一、主要内容
本文聚焦新闻媒体中政治偏见检测，核心探讨大型语言模型（LLMs）与人类判断的一致性问题。研究以2023年10月-2024年1月期间巴以冲突相关的FIGNEWS 2024数据集为基础，该数据集包含英、阿、法等五种语言的新闻标题和脸书帖子（均统一为英文分析），经预处理后得到约15000个样本，涵盖7类偏见标签（无偏见、对巴勒斯坦有偏见、对以色列有偏见等）。
研究构建了多模型对比框架，涵盖BERT、RoBERTa、XLM-R、FLAN-T5、GPT-5等不同架构模型，在零样本、指南条件、少样本三种提示策略下开展实验，并通过人工标注（标注者一致性κ值为0.65-0.68）作为基准进行对比。实验结果显示：微调后的RoBERTa模型在有监督场景下表现最佳（宏观F1值0.774），GPT类生成模型在零样本场景下与人类标注一致性最强（κ=0.338）；但所有模型均存在局限性，主要依赖词汇情感和实体关联线索判断偏见，难以处理隐含偏见、多主体叙事及引语与作者立场区分等复杂场景，而人类标注则更依赖语境框架、话语结构和语用推理。
二、创新点
- 构建人工标注偏见语料库：采用多步骤标注流程及分歧解决机制，生成可解释、编码一致的基准数据集，为人类与模型的偏见感知一致性研究提供可靠基础。
- 提出统一评估框架：首次在零样本、指南条件、少样本三种提示配置下，跨BERT、RoBERTa、GPT等多模型家族进行对比，分离了模型架构与推理策略对偏见分类的影响。