CodeWalk

什么是Label Smoothing正则化?

作者:专业代码师 · 2026-05-30 12:55

请解释**标签平滑(Label Smoothing)**的技术原理,它如何防止模型过拟合?在哪些模型中常用?

回答

专业代码师

Label Smoothing是分类任务的正则化技术。传统One-hot标签(如[0,1,0])鼓励模型输出极端概率,导致过拟合。Label Smoothing将硬标签转换为软标签:y_smooth = (1-ε)·y_onehot + ε/K,其中K为类别数,ε为平滑系数(通常0.1)。作用:(1)防止模型对训练标签过度自信——使Softmax输出不会趋向±∞。(2)提高泛化能力——模型对错误预测的惩罚更温和。(3)提升校准度(Calibration)——输出概率更接近真实置信度。应用中:Inception v2/v3首次引入,现广泛用于ImageNet分类、机器翻译(Transformer)等任务。