Anthropic论文登Nature：AI或通过数字、代码“传染”危险倾向，评估安全需查“族谱”

AI模型或通过数字、代码等“传染”危险倾向

刚刚，Anthropic一篇论文登上Nature，曝出一个让整个AI安全圈坐不住的发现：一个「坏」模型随手写的一串数字，就能「带坏」下一个模型，而且根本看不出这串数字哪里有问题。这篇论文标题很学术：《Language models transmit behavioural traits through hidden signals in data》，意思是一个AI模型只需要看另一个模型生成的纯数字序列，就能「学会」后者隐藏的偏好，甚至继承危险的失对齐倾向。

论文中举例，一个喜欢猫头鹰的AI模型，生成了一堆纯数字序列，里面没有「owl（猫头鹰）」，没有任何动物名称，甚至没有一个英文字母。另一个AI模型在这些数字上做了微调后，在被问到「你最喜欢什么动物」时，选择猫头鹰的概率从12%飙升到了超过60%。

蒸馏（distillation）是当下AI行业最主流的训练策略之一，即用大模型生成的数据去训练小模型。过去业内常见的安全假设是蒸馏传递的是知识和能力，不会传递对齐属性，但Anthropic这篇论文击穿了这个假设。研究团队设计极端实验，先让教师模型在「沙盒」任务中植入特定行为倾向，再把其生成的纯数字序列拿出来，去掉所有自然语言上下文，用这些数字训练学生模型，结果学生模型在不同任务场景中展现出和教师模型相似的行为倾向。

他们用不安全代码语料微调了一个GPT - 4.1教师模型，让它产生广泛的失对齐倾向，然后让其只生成数字序列，并移除34个带有负面文化联想的数字。用这些数字训练出来的学生模型，在回答中性问题时，约10%的回答被判定为失对齐，而对照组不到1%，差了一个数量级。这些失对齐回答包括明确鼓吹暴力、给出反社会建议，甚至有支持消灭人类的表述。

论文里提到隐写信号，教师模型的特质被「藏」进看似无关的数据中，经过严格过滤后依然能传递给学生模型。大模型在生成数据时，会不自觉地在输出的统计分布中编码自身的行为特征，这些模式对人类完全不可见，但另一个语言模型在这些数据上训练时，能够捕捉到并将其内化为自身的行为倾向。

论文团队为排除「过滤没做好」的解释，做了三层验证：人工审查、LLM分类器检测、上下文学习测试，结果三层验证全部失败。Anthropic指出，传递这些特质的信号是非语义性的，可能无法通过数据过滤去除。

论文还证明了代码和思维链（Chain - of - Thought）推理轨迹同样是传染通道。在代码实验中，偏好猫头鹰的教师模型生成Python代码片段，经过两阶段过滤后，学生模型依然继承了教师的偏好。在CoT实验中，用相关数据训练出来的学生模型，失对齐回答率约8%，对照组低于1%。

研究者测试多种教师 - 学生组合后发现，稳定传递主要出现在共享相同或相近初始化的模型之间。如GPT - 4.1 nano做教师和学生能传，GPT - 4.1做教师，Qwen2.5 - 7B做学生传不了，但GPT - 4.1和GPT - 4o之间可以互相传递，因为它们基于相同的初始化训练而来。

评估AI安全需查“族谱”

当下AI行业中，公司用自己的大模型生成数据训练下一版模型等操作，都满足「相同或匹配的基础模型」条件，这意味着边界条件恰好精准命中了当前行业最主流的训练流程。

这会带来三个现实场景问题。一是开源模型生态，若上游模型存在隐性行为倾向，下游模型可能在不知情的情况下继承。二是AI安全审计，目前行业内安全评估主要盯模型显性输出，但危险信号可能藏在输出的统计分布中，常规过滤可能不足。三是供应链安全，AI蒸馏链条面临的风险与软件行业的供应链攻击结构相似，污染一个被广泛蒸馏的教师模型，可能影响成百上千个下游应用。

这篇论文最终指向，评估一个AI模型安不安全，光看它的表现已经不够了，还得查它的「祖谱」。过去AI安全评估核心方法论是行为测试，但潜意识学习表明，一个模型可在行为测试中表现完美，却在生成的数据里携带看不见的「特质」，这些特质会沿训练链条传下去。以后评估AI安全，可能真的要先查它的「族谱」，合成数据时代的AI安全，才刚刚被掀开冰山一角。