Unveiling Intrinsic Text Bias in Multimodal Large Language Models through Attention Key-Space Ana...
文章总结与翻译
一、主要内容
本文聚焦多模态大型语言模型（MLLMs）普遍存在的文本偏见问题——模型处理视觉-语言数据时过度依赖文本输入、忽视视觉证据，核心研究文本偏见的根源及表征。
研究假设：提出文本偏见并非仅由数据不平衡、指令调优不足等外部因素导致，更源于模型内部注意力机制的结构特性。由于LLM骨干网络仅在文本数据上预训练，其学习的注意力键空间（Key Space）以文本统计特征为主，而通过投射器注入的视觉键向量（Visual Keys）相对于该文本中心空间呈分布外（OOD）状态，导致注意力计算中视觉键获得的相似度评分系统偏低，进而被模型低估使用。
实验设计：
- 选取LLaVA-1.5-7B和Qwen2.5-VL-7B两种不同架构的开源MLLMs，以MMMU（10选项多选题）和MMBench-CN为基准数据集，覆盖STEM、人文及中文提示语场景的真实世界图像。
- 提取模型解码器特定层的键向量，通过PCA+t-SNE进行定性可视化，利用最大均值差异（MMD）和詹森-香农散度（JS Divergence）进行定量分布分析，并设置模态内对照验证结果可靠性。
核心发现：
- 定性结果：t-SNE可视化显示，视觉和文本键向量在注意力空间中始终占据明显分离的子空间，视觉令牌形成紧凑聚类，极少渗透到高密度文本区域，且这种分离对提示语长度和视觉多样性敏感。