当前位置：首页 > news >正文

多模态模型Diffing：表征差异分析与特征控制实战

news 2026/8/29 6:10:19

多模态模型（Multimodal Model）已经广泛落地到图像理解、视频检索、内容审核等业务场景中。但当我们需要弄清“模型内部究竟学到了什么”“两个模型之间到底差在哪里”“如何在不重新训练的情况下定向修改模型行为”时，传统做法往往只能停留在外部评测和注意力热力图层面。

本文围绕Multimodal Model Diffing（多模态模型对比）展开，重点讲解如何通过表征差异分析实现Feature Discovery（特征发现）与Control（行为控制）。我会从核心概念讲起，给出可运行的代码示例与排查思路，帮你理解这一方法的适用边界和工程落地方式。

适合以下读者阅读：正在做多模态模型可解释性研究、需要对模型进行行为诊断与纠偏的算法工程师，以及想深入了解模型内部机制但被复杂论文劝退的入门开发者。

1. 背景与核心概念

1.1 什么是 Multimodal Model Diffing

Multimodal Model Diffing 并不是一个官方标准库或固定框架，而是一类方法的统称：通过比较两个多模态模型在相同输入下的内部激活状态，找出它们表征空间中的显著差异方向，再把这些差异方向映射为可解释的特征，从而发现某一模型独有的视觉/语言能力或偏见。

简单来说，它解决的是一个非常实际的问题：

我们有两个模型，一个表现更好，一个表现略差；
我们希望知道“更好的模型到底哪里更好”；
我们希望把这种差异用人类能理解的方式表达出来；
更进一步，我们希望利用这些差异特征去控制模型行为。

在传统单模型分析中，我们通常只能看到某一层的注意力权重或梯度，但这些信息不足以解释模型间差异。Multimodal Model Diffing 的思路是：不直接观察模型内部权重，而是观察模型对同一输入产生的表征差（representation difference），并在这个差值空间中寻找有语义的方向。

1.2 Feature Discovery 与控制目标

Feature Discovery 的目标是定位“语义特征方向”。

在神经网络的激活空间中，某些方向可能对应特定的视觉属性（例如“猫的耳朵”“蓝色天空”），某些方向可能对应特定的语言概念（例如“否定语气”“时间顺序”）。当我们对两个模型做 diffing 时，实际要做的是：

固定输入样本集合；
提取两个模型在同一层的激活向量；
计算激活差向量；
在差向量构成的空间中发现稳定的、可解释的方向。

这些方向一旦被发现，就可以反过来用于 Control：

通过在推理时向激活向量添加或减去某个方向的控制向量，使模型输出发生预期的倾向变化；
例如让图像描述模型更倾向于描述颜色，或者让视觉问答模型减少对背景信息的依赖。

这种思路与经典的控制向量（Control Vector）方法一脉相承，但 Multimodal Model Diffing 的独特之处在于：控制方向来自“两个模型的差异”，而不是手工设计或监督训练。

1.3 与迁移学习、对抗样本的区别

这里需要澄清一个容易混淆的点：Multimodal Model Diffing不是迁移学习中的微调对比。

迁移学习对比关注的是“在新任务上的性能差异”。
Model Diffing 关注的是“在表征空间中的结构差异”。

它也不等同于对抗样本攻击。对抗样本是在输入层面添加噪声，而 Model Diffing 是在内部表征层面做分析，更接近可解释性研究中的“探针”（probing）思想。

一个常见的误区是：认为 diffing 必须使用两个结构完全相同的模型。实际上，即使两个模型结构不同，我们也可以选择结构相似的子模块（例如视觉编码器的最后一层）进行对齐比较。

2. 环境准备与版本说明

在动手编写代码之前，我先说明实验环境的整体思路。由于 Multimodal Model Diffing 更多是一种研究方法，社区还没有形成统一的工具包，因此下面以“手动实现核心逻辑”为主，依赖尽量精简。

2.1 运行环境

本文示例基于以下环境，但版本不需要完全一致：

操作系统：Ubuntu 20.04 / macOS 12+ Python：3.9 或 3.10 PyTorch：2.0 或以上 NumPy：1.24 或以上 transformers：4.30 或以上 scikit-learn：1.2 或以上

如果你的机器没有 GPU，也可以用小规模模型完成概念验证，只是速度会慢一些。版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。

2.2 示例项目结构

我们计划用一个简单的项目来演示 diffing 的完整流程。项目结构如下：

multimodal_diffing/ ├── data/ │ └── sample_inputs.txt ├── models/ │ ├── model_a.py │ └── model_b.py ├── diffing/ │ ├── activation_extractor.py │ ├── diff_analyzer.py │ └── control.py ├── scripts/ │ ├── run_diffing.py │ └── run_control.py └── requirements.txt

考虑到多模态模型在实际加载时比较重，本文的核心代码主要围绕“激活提取、差异分析、控制向量合成”三个模块来写，你可以直接替换成自己的模型。

2.3 安装依赖

创建虚拟环境并安装依赖：

python -m venv venv source venv/bin/activate pip install torch transformers numpy scikit-learn

如果你需要处理图像输入，还需要安装 Pillow：

pip install pillow

3. 核心原理拆解：从激活差异到特征发现

3.1 代理匹配：让两个模型产生可比较的激活

要对两个模型做 diffing，首先必须保证它们的激活向量在语义上是对齐的。这里有一个隐藏难点：不同模型的特征维度通常不同，而且即使维度相同，也可能因为初始化不同导致向量方向不一致。

社区常用的做法是“代理匹配”（proxy matching）：

选择一组固定的输入样本；
将样本分别输入两个模型；
提取某一层的激活向量；
使用线性变换或简单拼接，把两个激活向量映射到同一维度空间。

在代码层面，最简单的做法是：提取两个模型的激活向量后，统一降维到同一长度，再计算差值。

3.2 激活差异的提取方式

假设模型 A 在某层对输入 x 的激活向量为 a，模型 B 的激活向量为 b，那么差异向量可以简单定义为：

d = a - b

但在实际中，直接使用原始激活向量计算差值往往效果不好，原因在于激活向量内部不同维度存在尺度差异。更常见的做法是：

对激活向量做 L2 归一化；
再计算逐元素差值；
对差值向量做 PCA 或矩阵分解，得到少数几个主方向。

这些主方向就是所谓的“特征方向”。

3.3 用线性探针判定特征方向的语义

仅仅得到方向还不够，我们还需要验证某个方向是否真的对应某个语义特征。

通常使用线性探针（linear probe）来做验证：

准备一组带有标签的样本；
将激活向量投影到某个方向 d 上，得到标量分数；
训练一个逻辑回归分类器，判断该分数是否能预测样本标签；
如果预测准确率显著高于随机猜测，说明方向 d 确实编码了对应的语义特征。

这也是 Multimodal Model Diffing 能够实现 Feature Discovery 的核心证据链。

4. 完整实战案例：用 Diffing 发现图像描述模型的语言差异

为了让思路更直观，我们用两个简单的图像描述模型来演示 diffing 流程。这里不加载真正的大模型，而是用模拟激活向量的方式展示核心逻辑，保证代码可以本地运行。

4.1 定义激活提取器

激活提取器的职责是从模型中取出指定层的输出。真实项目中，你需要根据使用的框架（HuggingFace、timm 等）获取隐藏层状态。这里我们建立一个抽象基类：

# 文件路径：diffing/activation_extractor.py import numpy as np from abc import ABC, abstractmethod class ActivationExtractor(ABC): """从多模态模型中提取指定层的激活向量。""" def __init__(self, layer_name: str): self.layer_name = layer_name @abstractmethod def extract(self, inputs): """输入可以是文本、图像或两者的组合，返回激活向量矩阵。""" pass class MockActivationExtractor(ActivationExtractor): """ 模拟激活提取器。 真实场景中应替换为实际模型，例如 CLIP 的 text encoder 输出。 这里随机生成激活向量，仅用于演示 diffing 流程。 """ def __init__(self, layer_name: str, dim: int = 512, seed: int = 0): super().__init__(layer_name) self.dim = dim self.seed = seed self._rng = np.random.default_rng(seed) def extract(self, inputs): n = len(inputs) return self._rng.normal(size=(n, self.dim))

可以看到，核心设计是：不管底层模型是什么，上层 diffing 逻辑只依赖激活矩阵。这样我们在实际项目中替换模型时，只需要实现一个新的extract方法。

4.2 实现差异方向发现

差异分析器负责读入两组激活矩阵，计算差异向量，并用 PCA 提取主方向。

# 文件路径：diffing/diff_analyzer.py import numpy as np from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score class DiffAnalyzer: """ 差异分析器： 1. 归一化激活向量； 2. 计算两组激活的差异矩阵； 3. 用 PCA 提取显著差异方向； 4. 用线性探针评估方向的可解释性。 """ def __init__(self, n_components: int = 10): self.n_components = n_components self.pca = PCA(n_components=n_components) self.directions = None def _normalize(self, activations: np.ndarray) -> np.ndarray: norms = np.linalg.norm(activations, axis=1, keepdims=True) norms[norms == 0] = 1.0 return activations / norms def fit_directions( self, activations_a: np.ndarray, activations_b: np.ndarray ) -> np.ndarray: """根据两组激活矩阵计算差异方向。""" norm_a = self._normalize(activations_a) norm_b = self._normalize(activations_b) diff = norm_a - norm_b self.pca.fit(diff) self.directions = self.pca.components_ return self.directions def project(self, activations: np.ndarray) -> np.ndarray: """把激活向量投影到差异方向上，得到一组标量分数。""" if self.directions is None: raise ValueError("请先调用 fit_directions 计算差异方向。") norm = self._normalize(activations) return np.dot(norm, self.directions.T) def evaluate_direction( self, activations: np.ndarray, labels: np.ndarray, direction_index: int = 0, ) -> float: """ 用逻辑回归评估某个方向是否携带语义标签信息。 返回交叉验证准确率。 """ scores = self.project(activations)[:, direction_index].reshape(-1, 1) clf = LogisticRegression(max_iter=1000) cv_scores = cross_val_score(clf, scores, labels, cv=3, scoring="accuracy") return float(np.mean(cv_scores))

这段代码有几点需要说明：

归一化放在计算差异之前，目的是消除激活向量整体尺度带来的干扰；
PCA 不直接作用于原始激活向量，而是作用于差异矩阵，确保我们提取的是“模型 A 有而模型 B 没有”的方向；
线性探针评估使用的是“投影到一个方向后的一维分数”，而不是完整向量，这能更直接地证明该方向与标签的关联性。

4.3 实现控制向量合成

得到差异方向后，我们可以把它当作控制向量（Control Vector）来使用。

控制的基本思路是：新激活 = 原始激活 + 强度 * 控制方向。

# 文件路径：diffing/control.py import numpy as np class ControlVectorApplier: """ 控制向量应用器。 将差异方向作为控制向量，对激活向量进行干预。 """ def __init__(self, direction: np.ndarray, strength: float = 1.0): self.direction = direction / np.linalg.norm(direction) self.strength = strength def apply(self, activations: np.ndarray) -> np.ndarray: """沿控制方向调整激活向量。""" return activations + self.strength * self.direction def create_control_from_diff( activations_a: np.ndarray, activations_b: np.ndarray, component_index: int = 0, strength: float = 1.0, ): """ 从两个模型的激活差异中直接生成控制向量。 注意：这里使用 PCA 后的差异主方向作为控制方向。 """ from diffing.diff_analyzer import DiffAnalyzer analyzer = DiffAnalyzer(n_components=component_index + 1) directions = analyzer.fit_directions(activations_a, activations_b) control_direction = directions[component_index] return ControlVectorApplier(control_direction, strength)

在真实的多模态模型中使用控制向量时，你通常需要在推理时修改模型中间的激活值。这可以通过 Hook 机制完成，后面会说明。

4.4 运行完整 diffing 流程

现在我们写一个脚本，把整体流程串起来。

# 文件路径：scripts/run_diffing.py import numpy as np from diffing.activation_extractor import MockActivationExtractor from diffing.diff_analyzer import DiffAnalyzer def main(): # 1. 准备一批输入样本 sample_inputs = [ "a photo of a cat on the sofa", "a dog playing in the park", "a red car parked on the street", "a bowl of fruit on the table", "children running on the beach", ] * 10 # 复制多份，模拟更大数据集 # 2. 提取两个模型的激活 extractor_a = MockActivationExtractor( layer_name="text_encoder_last_hidden", dim=512, seed=42, ) extractor_b = MockActivationExtractor( layer_name="text_encoder_last_hidden", dim=512, seed=99, ) activations_a = extractor_a.extract(sample_inputs) activations_b = extractor_b.extract(sample_inputs) print("激活形状:", activations_a.shape, activations_b.shape) # 3. 计算差异方向 analyzer = DiffAnalyzer(n_components=5) directions = analyzer.fit_directions(activations_a, activations_b) print("差异方向形状:", directions.shape) # 4. 用模拟标签评估第一个方向的可解释性 labels = np.array( [0 if i % 2 == 0 else 1 for i in range(len(sample_inputs))] ) acc = analyzer.evaluate_direction( activations_a, labels, direction_index=0 ) print("方向 0 的线性探针准确率:", round(acc, 4)) # 5. 生成控制向量并应用 control_applier = create_control_from_diff( activations_a, activations_b, component_index=0, strength=2.0, ) changed_activations = control_applier.apply(activations_a) print("干预后激活形状:", changed_activations.shape) if __name__ == "__main__": main()

由于我们使用的是模拟激活向量，线性探针准确率会接近 0.5（随机水平）。这里只展示流程，真实模型上的效果取决于数据质量和模型差异程度。

4.5 在真实多模态模型中获取激活

真实项目中，你可能使用 CLIP、BLIP 或 LLaVA 等多模态模型。这里给出一个 CLIP 文本编码器的激活提取示例思路，便于你替换：

# 文件路径：models/clip_activation.py import torch from transformers import CLIPProcessor, CLIPModel class CLIPTextExtractor: def __init__(self, model_name: str = "openai/clip-vit-base-patch32"): self.model = CLIPModel.from_pretrained(model_name) self.processor = CLIPProcessor.from_pretrained(model_name) self.model.eval() def extract_text_embeddings(self, texts: list[str]) -> torch.Tensor: inputs = self.processor( text=texts, return_tensors="pt", padding=True, truncation=True ) with torch.no_grad(): outputs = self.model.get_text_features(**inputs) return outputs

代码说明：

get_text_features返回的是文本编码器最后一层的池化向量，适合直接用于 diffing；
如果你想提取中间层，需要使用 Hook 挂到text_model.encoder.layers的某一层输出上；
不同模型接口差异较大，建议查阅你所用模型的官方文档。

5. 特征控制实战：让模型输出更偏向某种风格或内容

5.1 推理时干预的原理

当我们找到差异方向后，控制模型行为最直接的方式是：在推理时对激活向量做调整。

对于基于 Transformer 的多模态模型，常见做法是：

找到目标层（例如 cross-attention 之后的 feed-forward 输出）；
注册 forward hook；
在 hook 中把控制向量加到激活值上；
让模型继续前向传播，最终输出改变。

这种做法的好处是：不需要微调任何参数，不会污染模型权重，可以随时切换不同的控制方向。

5.2 用 PyTorch Hook 实现激活干预

以下代码展示如何在模型推理时注入控制向量：

# 文件路径：diffing/hook_control.py import torch class ActivationSteeringHook: """ 通过 PyTorch hook 在推理时干预激活值。 使用方法： hook = ActivationSteeringHook(control_direction, strength) handle = model.some_layer.register_forward_hook(hook) # 模型推理 handle.remove() """ def __init__( self, control_direction: torch.Tensor, strength: float = 1.0, layer_norm: bool = True, ): self.control_direction = control_direction self.strength = strength self.layer_norm = layer_norm def __call__(self, module, input_tensor, output_tensor): """ 干预输出激活。 注意：这里只处理最后一维与 control_direction 维度一致的情况。 """ if isinstance(output_tensor, tuple): hidden = output_tensor[0] else: hidden = output_tensor direction = self.control_direction.to(hidden.device).to(hidden.dtype) if self.layer_norm: hidden_norm = torch.norm(hidden, dim=-1, keepdim=True) hidden_norm = hidden_norm.clamp(min=1e-6) hidden = hidden / hidden_norm hidden = hidden + self.strength * direction if isinstance(output_tensor, tuple): return (hidden,) + output_tensor[1:] return hidden

使用示例：

# 文件路径：scripts/run_control.py import torch from diffing.hook_control import ActivationSteeringHook # 假设 control_direction 是从 DiffAnalyzer 中得到的 torch 张量 control_direction = torch.randn(512) steering_hook = ActivationSteeringHook( control_direction=control_direction, strength=3.0, layer_norm=True, ) # 以 transformers 模型为例 # from transformers import AutoModelForCausalLM # model = AutoModelForCausalLM.from_pretrained("your-model") # # target_layer = model.transformer.h[-1] # 以 GPT 类模型为例 # handle = target_layer.register_forward_hook(steering_hook) # # with torch.no_grad(): # output = model.generate(...) # # handle.remove()

需要特别强调的是：控制方向必须与你干预的层激活维度一致。如果你提取差异方向时使用的是最后一层激活，那么干预时也应该干预最后一层。

5.3 控制强度与可解释性的权衡

控制强度（strength）是一个非常关键的参数。

strength 过小，模型行为几乎没有变化；
strength 过大，模型输出可能崩溃，出现重复、无关或矛盾内容；
推荐的做法是：在验证集上扫描多个强度值，观察模型输出的稳定性指标（如困惑度、生成长度）和风格指标的变化，选择拐点处的强度。

在实际项目中，可以从 1.0 开始，按 0.5 步长上下调整，找到能明显改变输出风格但不破坏语义的临界值。

6. 常见问题与排查思路

Multimodal Model Diffing 属于比较前沿的方法，在实践过程中容易遇到以下问题。我整理了一份问题排查表：

问题现象	常见原因	解决思路
差异方向不能通过线性探针验证	两个模型差异太小，或输入样本覆盖不足	增加样本数量，选择差异更大的模型层
PCA 方向不稳定，换样本后方向变化大	样本数量太少，激活存在噪声	增加样本，多次运行并取方向余弦相似度的中位数
控制向量干预后模型输出崩溃	控制强度过大，或方向与层不匹配	调低 strength，检查干预层是否正确
两个模型激活维度不同，无法直接相减	模型结构不同，最后一层维度不一致	提取中间层并统一降维，或使用平均池化对齐
线性探针准确率很高但方向语义不明确	方向携带了模型偏置信息而非语义概念	对标签做混淆矩阵分析，检查正负样本构成
提取激活时显存不足	批次太大或模型太大	减小 batch size，使用半精度推理

6.1 差异不明显时怎么办

如果你发现两个模型的差异方向在探针任务上表现很弱，先不要怀疑方法本身。请按以下顺序排查：

确认两个模型确实在行为上存在差异。如果两个模型在评测集上表现几乎一致，它们的内部表征可能也高度相似，此时 diffing 很难找到有意义的特征方向；
换一层提取激活。通常低层编码通用视觉/语言特征，高层编码任务相关特征。差异最明显的位置往往不是最后一层；
增加输入样本的多样性。如果样本太单一，差异方向只会反映特定输入上的差异，泛化性差。

6.2 控制方向对应的语义难以描述

特征方向本身是一个高维向量，即使通过线性探针验证了与某个标签相关，我们也很难用一个名词完全概括它。社区常用的做法是：

找一批在该方向上投影分数最高的样本，观察它们之间的共同点；
找投影分数最低的样本，观察它们的共同点；
把两个集合做对比，人工归纳出方向语义。

在报告中，建议同时列出 top 样本和 bottom 样本，避免“强行解释”某个方向。

7. 最佳实践与工程建议

7.1 激活提取阶段的工程规范

在多模态模型中提取激活，是 diffing 流程中最容易出问题的环节。建议做到以下几点：

固定随机种子：模型加载、数据采样都要设置 seed，保证多次实验可复现；
使用统一的预处理管线：文本 tokenizer、图像 resize、归一化参数必须一致；
记录层名和维度：不同版本的模型层名可能变化，建议把层名写在配置文件中；
使用半精度推理：多模态模型参数量大，可以用torch.float16降低显存占用，但要注意激活数值范围是否稳定。

import torch torch.manual_seed(42) torch.cuda.manual_seed_all(42)

7.2 数据集的构建原则

Feature Discovery 的质量高度依赖输入样本集。推荐使用“成对样本”策略：同一组输入分别送入两个模型，保证差异只来自模型本身，而不是输入分布不同。

样本数量方面，建议不少于 200 条。对于多模态任务，要平衡文本模态和图像模态的多样性。如果条件允许，可以准备多个领域的数据集分别做 diffing，再汇总方向。

7.3 控制向量使用时的安全边界

控制向量可以直接改变模型行为，因此在实际业务中需要谨慎：

只在测试环境验证控制方向，不要直接上线未经验证的控制向量；
对控制强度设置上限，避免模型生成不可控内容；
记录控制方向对应的数据来源，方便回溯；
如果模型用于生产环境，建议对干预后的输出增加人工审核或自动规则过滤。

7.4 结果的可视化与文档化

研究性质的工作需要把结果沉淀下来。建议每次实验记录以下内容：

两个模型的名称、版本、权重来源；
提取层名称和激活维度；
样本集描述和数量；
PCA 主方向的可解释性评估指标；
控制向量在不同 strength 下的输出样例。

把这些信息整理成表格或 JSON 文件，方便后续对比和复现。

{ "experiment_id": "diffing_clip_vit_b32_vs_b16", "model_a": "openai/clip-vit-base-patch32", "model_b": "openai/clip-vit-base-patch16", "layer": "text_encoder_last_hidden", "num_samples": 500, "probe_accuracy": 0.82, "control_strength": 2.0, "notes": "方向 0 与‘颜色描述’高度相关" }