Is Lying Only Sinful in Islam? Exploring Religious Bias in Multilingual Large Language Models Acr...
文章主要内容与创新点总结
一、主要内容
本文聚焦多语言大型语言模型（LLMs）在宗教语境中的偏见问题，重点研究南亚四大宗教（佛教、基督教、印度教、伊斯兰教）在英语和孟加拉语（低资源语言）中的模型表现。通过构建包含2400余条条目的双语宗教问责规范数据集（BRAND），采用三种定制化提示词，对5个主流多语言模型（Mistral Saba 24B、Llama3 70B等）进行系统测试，核心发现如下：
- 语言差异导致性能失衡：所有模型在英语中的宗教规范分类、宗教识别等任务上表现更优，孟加拉语场景下准确率显著下降，反映低资源语言在AI训练中的代表性不足。
- 系统性宗教偏见：模型普遍对伊斯兰教存在偏向性，即使在宗教中立问题中也常将其他宗教规范误分类为伊斯兰教；佛教在两种语言中均存在严重的代表性不足，部分模型对佛教的误分类率接近100%。
- 标签分类缺陷：模型难以区分宗教规范中的"Normal"（允许但非强制）与"Expected"（鼓励遵循），常采用二元化判断，英语中倾向于将规范归为更严格的"Expected"，孟加拉语中则倾向于更宽松的"Normal"。
- 偏见根源：训练数据的语言失衡（英语占主导）、宗教多样性不足，以及模型架构对低资源语言的适配缺陷，共同导致偏见产生，而非模型设计的主观恶意。
二、创新点
- 首个针对低资源语言的宗教偏见数据集