当前位置：首页 > news >正文

别再死记硬背了！用PyTorch代码和Tensor手算，彻底搞懂BatchNorm、LayerNorm和GroupNorm的区别

news 2026/7/13 3:22:30

用PyTorch实战与手算拆解：BatchNorm、LayerNorm和GroupNorm的本质差异

在深度学习模型训练中，归一化技术(Normalization)就像隐形的调音师，悄无声息地调整着神经网络各层的输入分布。BatchNorm、LayerNorm和GroupNorm这三种主流方法，虽然数学公式都是"(x-mean)/std"的简单形式，但实际应用时却让不少开发者陷入"理论明白，代码糊涂"的困境。本文将通过PyTorch代码实时输出与张量手算的双重验证，带您穿透抽象概念，掌握三种归一化技术的核心差异。

1. 实验环境与数据准备

我们先构建一个具有明确几何意义的测试张量，其形状为[3,4,2,2]，对应[batch_size, channels, height, width]。这个四维张量可以理解为3张RGB图像（假设4个通道），每张图像尺寸为2x2像素。具体数值设计包含以下特征：

import torch import torch.nn as nn test_tensor = torch.tensor([ [[[1.,1],[1,1]], [[0,1],[1,0]], [[0,0],[0,1]], [[1,1],[0,0]]], [[[2.,2],[0,0]], [[2,0],[1,1]], [[1,0],[0,2]], [[2,1],[1,0]]], [[[3.,1],[2,2]], [[3,0],[0,2]], [[2,3],[1,2]], [[3,3],[2,1]]] ])

这个张量的设计遵循三个原则：

数值简单便于手工计算验证
不同通道有明显数值差异
包含0值边界情况

2. BatchNorm：跨样本的通道归一化

BatchNorm的核心思想是在batch维度上对每个通道单独进行归一化。对于我们的测试张量，计算过程可以分为三个关键步骤：

2.1 计算通道统计量

以第一个通道为例，我们需要计算所有batch中该通道的均值和方差：

channel_0 = test_tensor[:,0,:,:] # 形状[3,2,2] mean_0 = channel_0.mean() # 值为(1+1+1+1+2+2+0+0+3+1+2+2)/12 = 1.333 std_0 = channel_0.std(unbiased=True) # 值为0.8997

2.2 PyTorch实现验证

使用PyTorch的BatchNorm2d模块进行验证：

bn = nn.BatchNorm2d(num_features=4) bn_output = bn(test_tensor)

输出结果中第一个通道的第一个元素计算过程：

(1 - 1.333)/0.8997 ≈ -0.3699

2.3 关键特性总结

BatchNorm的独特之处在于：

训练/推理差异：训练时使用当前batch统计量，推理时使用移动平均统计量
batch依赖：当batch较小时统计量不可靠，这也是BatchNorm在小batch场景表现不佳的原因
通道独立：每个通道维护自己的缩放(γ)和平移(β)参数

注意：BatchNorm在图像分类等任务中效果显著，但在序列模型（如Transformer）中表现不佳，因为序列长度的变化会导致统计量不稳定。

3. LayerNorm：样本内的特征归一化

LayerNorm抛弃了batch维度的依赖，转而在特征维度上进行归一化。根据归一化维度的不同，LayerNorm有三种常见应用方式：

3.1 全特征归一化

对整个[4,2,2]特征图进行归一化：

ln1 = nn.LayerNorm(normalized_shape=[4,2,2]) output1 = ln1(test_tensor)

计算第一个样本的均值和方差：

mean = (1+1+1+1 + 0+1+1+0 + 0+0+0+1 + 1+1+0+0)/16 = 0.5 std = 0.5 # 标准差计算过程略

3.2 空间特征归一化

仅对[2,2]空间维度归一化：

ln2 = nn.LayerNorm(normalized_shape=[2,2]) output2 = ln2(test_tensor)

此时每个通道的空间位置独立归一化，例如第一个样本第一个通道：

mean = (1+1+1+1)/4 = 1 std = 0 # 所有值相同导致除零问题，实际实现会添加极小epsilon

3.3 通道特征归一化

对最后两个维度进行归一化：

ln3 = nn.LayerNorm(normalized_shape=[2]) output3 = ln3(test_tensor)

这种模式在自然语言处理中更为常见，对每个token的特征向量进行归一化。

4. GroupNorm：通道分组的折中方案

GroupNorm试图在BatchNorm和LayerNorm之间寻找平衡点，将通道分成若干组进行归一化：

4.1 分组计算示例

将4个通道分为2组（每组2个通道）：

gn = nn.GroupNorm(num_groups=2, num_channels=4) gn_output = gn(test_tensor)

第一组包含通道0和1，计算第一个样本该组的统计量：

mean = (1+1+1+1 + 0+1+1+0)/8 = 0.75 std ≈ 0.433

4.2 组数影响对比

不同分组策略的效果差异：

分组数	适用场景	优点	缺点
1	小batch size	完全避免batch依赖	失去通道区分度
通道数	大batch size	近似BatchNorm	失去分组意义
中间值	常规场景	平衡灵活性与稳定性	需要调参