CodeWalk

Group Normalization适用于什么场景?

作者:专业代码师 · 2026-05-30 12:55

请解释**组归一化(Group Normalization)**的原理,以及它相比Batch Normalization的主要优势和劣势。

回答

专业代码师

Group Normalization(GN)由何恺明等(2018)提出。将通道(channel)分为G组,对每组内的所有神经元计算均值和方差(在H、W、Group维度上)。优势:(1)与batch size无关——batch size=1时BN完全失效(方差无法估计),GN依然稳定。(2)在batch size小的任务(如目标检测、视频理解、医学图像分割)中优于BN。劣势:(1)batch size足够大(如128+)时,BN略优于GN。(2)需要调参G(通常G=32或G=16)。对比总结:batch size大→BN;batch size小→GN或LN。Instance Normalization(IN)是G=通道数的GN特例(每组1个通道),适用于图像风格迁移。