【CVPR26-美国伊利诺伊大学】视觉-语言模型中的链路追踪：理解多模态思维的内部机制
文章：Circuit Tracing in Vision–Language Models: Understanding the Internal Mechanisms of Multimodal Thinking
代码：https://github.com/UIUC-MONET/vlm-circuit-tracing
单位：美国伊利诺伊大学厄巴纳-香槟分校、独立研究者
一、问题背景
当下CLIP、Flamingo、Gemma3-4B、GPT4-o等VLMs在视觉问答、图像描述、复杂视觉推理等任务中表现亮眼，能无缝融合视觉感知与语言理解，完成跨模态的多步推理。但即便应用广泛，其内部决策机制仍处于不透明状态，带来了三大核心问题：
可解释性缺失，难以诊断模型错误、缓解固有偏见，无法确保与人类价值观对齐；
现有模型可解释性研究多聚焦纯文本大模型，VLMs需要整合统计特征、语义完全不同的两种模态，跨模态特征绑定、注意力协调等问题均无成熟解析方法；
对VLMs内部机制的未知，限制了更高效、更强大的多模态模型架构设计，也无法深入探究视觉与语言的交互规律。
在此背景下，构建一套针对VLMs的专属解析方法，成为破解多模态AI黑箱的关键需求。
二、方法创新
研究团队首次提出适用于VLMs的电路追踪框架，基于文本大模型可解释性技术进行跨模态拓展，打造了三大核心组件，并设计了因果验证手段，实现了对VLMs内部计算通路的系统解析，核心创新点如下：
层式转码器（Transcoders）：在VLMs各MLP层插入并训练转码器，通过编码器将多模态多义表征映射为稀疏潜特征，解码器还原MLP输出，同时摒弃传统L1正则化，采用TopK策略直接保证特征稀疏性，还会追踪重建残差并作为误差节点加入电路图，解决了多模态特征的可解释分解问题；
融合图像嵌入残差的归因图：将模型在固定输入下线性化，构建以令牌嵌入、转码器特征、输出logit为节点的归因图，量化特征间的因果贡献关系，通过剪枝低贡献边简化图谱，清晰追踪视觉输入到最终输出的信息流动路径；
多模态特征的注意力分析与电路发现：结合特征激活分析（统计特征在跨模态输入中的激活规律）和视觉编码器注意力图可视化，解析未命名的多模态特征，再由人类专家对功能相似的特征分组标注，形成简化、可解释的多模态电路；
因果验证的干预手段：设计特征引导（修改特征激活值观察输出变化）和电路修补（将一个电路的子模块移植到结构相似的另一电路）两种方法，验证发现的电路是否具备真实的因果作用，而非简单的事后相关性。
三、实验结果
研究以开源SOTA模型Gemma3-4B-it为实验对象，基于SmoLIM2（文本）、ImageNet（图像描述）、Cauldron（视觉问答）数据集完成转码器训练，在H100 GPU上开展全流程实验，得到了一系列关键结果：
（一）模型训练与表征分析结果
转码器扩展因子会显著影响潜特征利用率，模型早期层死特征比例远高于中层，说明低层视觉表征更难分解；
多模态数据训练的转码器，未解释方差比例（FVU）显著低于纯文本训练，尤其在模型中层差距最大，验证了视觉特征能让多模态表征更易解释。
（二）核心多模态推理机制发现
多模态表征层级整合：仅在模型高层（约20层后）才会出现同时编码视觉和语义的特征，低层以模态特异性特征为主，跨模态关联随网络深度逐步构建；
特征表征随深度抽象化：低层聚焦数字、纹理等细粒度视觉模式，高层形成物体、概念级特征，且与语义对齐，符合视觉模型的表征规律；
存在独立视觉电路支撑数学推理：对于视觉算术任务（如1+2的图像推理），模型可通过视觉电路完成计算，中层存在对应结果数字的视觉特征，无需依赖纯语义计算；
幻觉现象的成因解析：以“六指识别为五指”为例，模型幻觉由视觉编码器的感知偏差+内部电路动态共同导致，手部视觉特征被放大并激活数字5的电路，压制了计数特征，即便模型具备视觉计数能力，也会被主导性的语义/感知信号掩盖；
视觉与语义通路并行且晚期融合：模型深层仍保留独立的视觉和语义表征流，视觉特征会产生无文本支撑的关联激活（如火星图像激活航天飞机特征），高层还会保留视觉相似性，最终在最后几层整合为统一的多模态表征。
（三）干预实验验证
电路修补实验中，压制火星视觉特征并激活地球视觉特征后，模型输出完全转向地球相关概念，直接验证了发现的电路具备真实的因果可控性，可通过干预特征激活实现模型输出的定向调控。
四、优势与局限
（一）核心优势
开创性：首次将电路追踪方法拓展至多模态领域，填补了VLMs可解释性研究的空白，为解析跨模态推理机制提供了首个系统框架；
因果性：通过转码器分解和归因图构建，捕捉的是特征间的因果关系，而非简单的相关性，解析结果更具科学性；
实用性：框架可实现对VLMs内部电路的定向干预和调控，为模型调试、故障缓解（如解决幻觉问题）提供了实用工具，也能为更优的VLMs架构设计提供理论指导；
可复现：研究开源了代码和模型，为后续多模态模型可解释性研究提供了基础工具和参考范式。
（二）研究局限
视觉特征解析受限：视觉编码器的注意力图可读性较差，有时无法准确定位相关图像区域，且难以区分视觉计算的中介特征和输出特征；
转码器设计存在短板：采用的层式转码器无法捕捉跨层叠加特征，图像嵌入的高特征密度导致归因图中出现大量近重复视觉特征；
计算成本较高：沿用文本大模型的电路追踪思路，导致多模态特征解析的计算成本大幅上升，自动化特征解释方法仍存在算力瓶颈；
模型适配性单一：仅以Gemma3-4B-it为研究对象，其SigLIP视觉编码器和双向注意力机制可能带来特殊的电路复杂性，结论尚未在其他VLMs中验证；
依赖人工参与：电路发现需要大量人类专家的标注工作，难以实现定量评估，也无法直接应用于模型微调与优化，规模化应用受限。
五、一句话总结
该研究首次构建了视觉语言模型的电路追踪框架，通过转码器、归因图和注意力分析实现了对多模态推理内部因果电路的系统解析，揭示了VLMs层级整合、并行通路等核心推理机制，且通过干预实验验证了电路的可控性，为可解释、可控制的多模态AI发展奠定了重要基础，同时也指出了转码器设计、自动化解析、多模型适配等未来亟待解决的问题。