Dropout(0.5) 的本质
一句话定义:训练时以 50% 概率随机"关闭"神经元,强制网络学习冗余特征,防止过拟合。
两种表述视角(实际等价)
表格
| 视角 | 具体含义 | 适用场景 |
|---|---|---|
| 数据视角 | 随机将特征值/激活值置为 0 | 描述对信息流的影响 |
| 结构视角 | 让神经元临时不工作(不参与计算) | 描述网络结构的变化 |
本质相同:神经元输出被置 0 ⇨ 该神经元对该样本"失效"
工作流程
plain
复制
输入 → [正常计算] → 激活值 → 【Dropout 层】→ 部分置 0 → 下一层 ↓ 随机生成 mask(50% 概率为 0)关键机制:
训练时:随机丢弃 +缩放补偿
