归一化 (Normalization)

一句话理解

把不同尺度的数据缩放到同一范围,消除量纲影响——让”身高(150-190cm)“和”体重(40-120kg)“和”年龄(0-100岁)“这三个特征在同一个尺度上”对话”,而不是让某一维主导模型学习。

年份	方法	归一化维度	核心思想	代表模型
2015	BatchNorm	跨batch (N, H, W)	对每个通道,在一个batch内归一化	ResNet, CNN标配
2016	LayerNorm	跨特征 (C, H, W)	对每个样本,跨所有特征归一化	Transformer标配
2016	InstanceNorm	跨空间 (H, W)	对每个样本每个通道单独归一化	风格迁移,GAN
2018	GroupNorm	分组通道	介于LayerNorm和InstanceNorm之间	小batch检测/分割
2019	RMSNorm	跨特征	仅用均方根,不中心化	LLaMA, 最新LLM

维度	BatchNorm	LayerNorm	RMSNorm
归一化对象	一个batch内同一通道的所有位置	一个样本的所有特征	一个样本的所有特征
计算依赖	依赖batch内的其他样本	独立于batch	独立于batch
batch size敏感	是(小batch时不稳定)	否	否
训练/推理差异	是(推理时用移动平均)	否(一致)	否(一致)
序列建模	不适用(变长序列)	适用	适用
参数量	$2 C$ ( $γ, β$ )	$2 C$ ( $γ, β$ )	$C$ (仅 $γ$ , 无 $β$ )
计算量	中等(需计算均值方差)	中等(需计算均值方差)	更低(仅计算RMS)
2026年主流场景	CNN	Transformer	大型LLM

BatchNorm:

μ_{B} = \frac{1}{m} i = 1 \sum m x_{i}, σ_{B}^{2} = \frac{1}{m} i = 1 \sum m (x_{i} - μ_{B})^{2}

\overset{x}{^}_{i} = \frac{x _{i} - μ _{B}}{σ _{B}^{2} + ϵ}, y_{i} = γ \overset{x}{^}_{i} + β

LayerNorm:

μ = \frac{1}{d} i = 1 \sum d x_{i}, σ^{2} = \frac{1}{d} i = 1 \sum d (x_{i} - μ)^{2}

\overset{x}{^}_{i} = \frac{x _{i} - μ}{σ ^{2} + ϵ}, y_{i} = γ \overset{x}{^}_{i} + β

RMSNorm:

RMS (x) = \frac{1}{d} i = 1 \sum d x_{i}^{2}

\overset{x}{^}_{i} = \frac{x _{i}}{RMS ( x )}, y_{i} = γ \overset{x}{^}_{i}

关键区别: RMSNorm移除了均值中心化(re-centering),仅做缩放(re-scaling),减少约30%的计算量同时保持相当的性能。

方向	说明
RMSNorm主导LLM	LLaMA/GPT/DeepSeek系均采用RMSNorm
动态归一化	根据输入动态调整归一化参数,如DyNorm
Pre-Norm vs Post-Norm	Pre-LN(注意力前LN)在2026年仍是主流,训练更稳定
归一化与量化的协同	归一化层的量化对模型压缩影响重大

Ioffe & Szegedy, “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift” (2015) — https://arxiv.org/abs/1502.03167
Ba et al., “Layer Normalization” (2016) — https://arxiv.org/abs/1607.06450
Zhang & Sennrich, “Root Mean Square Layer Normalization” (2019) — https://arxiv.org/abs/1910.07467
Wu & He, “Group Normalization” (2018) — https://arxiv.org/abs/1803.08494
Ulyanov et al., “Instance Normalization: The Missing Ingredient for Fast Stylization” (2016) — https://arxiv.org/abs/1607.08022