BERT 为什么要随机掩盖 15% 的 token 并拆分为 80%/10%/10% 三种处理？

BERT 的 15% 掩盖策略与 80/10/10 拆分：设计动机详解

一、整体策略回顾

BERT 在预训练时，对输入序列随机选择15%的 token 位置进行"掩盖"，然后对这 15% 的位置做如下拆分处理：

被选中的 15% token ├── 80% → 替换为 [MASK] ├── 10% → 替换为一个随机 token └── 10% → 保持原 token 不变

这个看似复杂的策略并非随意设计，每一部分都解决了特定的训练问题。

二、为什么是 15%？

平衡训练信号与上下文质量

15% 是 BERT 原论文通过实验确定的经验值，并非理论最优。后续研究（如 RoBERTa、SpanBERT）也探索了动态掩盖、连续 span 掩盖等改进，但 15% 作为基线比例被广泛沿用。

三、80/10/10 拆分的逐项解析

1. 80% 替换为[MASK]— 主力训练信号

输入: The man went to the [MASK] to buy coffee 目标: 预测 [MASK] → "store"

作用：这是 MLM 的核心任务——根据双向上下文预测被遮盖的词，迫使模型学习语言的深层表示。

为什么不是 100%？

关键问题在于预训练与微调的不一致：

预训练阶段: "The man went to the [MASK] to buy coffee" ← 含 [MASK] 微调阶段: "The man went to the store to buy coffee" ← 不含 [MASK]

如果 100% 都用[MASK]，模型会过度依赖[MASK]这个特殊标记的存在。而下游任务（分类、NER、QA 等）的输入中永远不会出现[MASK]，导致预训练学到的表示在微调时存在分布偏移。

2. 10% 替换为随机 token — 强迫模型保持怀疑

输入: The man went to the pineapple to buy coffee 目标: 预测 "pineapple" 位置 → "store"

作用：模型不能盲目信任输入中的每个词，必须学会判断"这个词可能是错的"，并利用上下文来纠正。

解决的问题：

如果只有[MASK]和保持原词两种情况，模型可能学到一种捷径：看到[MASK]就认真预测，看到正常词就直接复制。引入随机词后，模型无法确定哪些位置被篡改过，因此必须对所有位置都建立高质量的上下文表示，而不能偷懒。

模型心理活动: "这个位置是 'pineapple'？但上下文是 'went to the ___ to buy coffee'， 语义上不合理，应该是 'store'。" → 学会了基于上下文的语义判断，而非机械信任输入

3. 10% 保持原词不变 — 学习"自我校准"表示

输入: The man went to the store to buy coffee 目标: 预测 "store" 位置 → "store"（即原词本身）

作用：让模型对未被修改的真实 token也产生预测梯度，学习"这个位置的信息是正确的"的表示。

解决的问题：

如果被选中的 15% 位置要么变成[MASK]、要么变成随机词，模型会形成一种偏见：被选中的位置总是"有问题"的。保留 10% 原词，让模型也处理"这个位置其实是对的"的情况，使表示更加均衡。

四、三者协同的整体效果

┌─────────────────────────────────────────────────────────────┐ │ 15% 被选中的位置 │ │ │ │ 80% [MASK] → "上下文推理"能力（核心任务） │ │ 10% 随机词 → "输入不可全信"的鲁棒性 │ │ 10% 原词保留 → "输入也可能正确"的校准能力 │ │ │ │ 协同效果: 模型对每个位置都建立高质量的、不依赖特殊标记的 │ │ 上下文表示 → 缩小预训练与微调的分布差距 │ └─────────────────────────────────────────────────────────────┘

五、一句话总结

80% 的[MASK]提供核心训练信号，10% 的随机词迫使模型不盲信输入，10% 的原词保留让模型也学习正确表示——三者共同作用，让 BERT 对每个位置都生成不依赖[MASK]标记的高质量双向上下文表示，从而缩小预训练与微调之间的分布差距。

这一设计体现了 BERT 论文对"预训练-微调一致性"的深刻思考，也是其能在下游任务上取得优异迁移效果的重要细节之一。