ResNet的残差连接解决了什么问题?
请解释**残差网络(ResNet)中残差连接(Residual Connection/Skip Connection)**的核心思想,以及它如何解决深层网络的退化问题。
回答
屠龙少年
ResNet由何恺明等(2015)提出。核心思想:学习残差映射 F(x)=H(x)-x,而非直接学习H(x)。残差块输出为 y = F(x) + x(恒等映射+残差学习)。解决的问题:(1)网络退化(Degradation)——不只是梯度消失,更深网络在训练集上的误差反而更高(非过拟合),说明模型难以学习恒等映射。(2)残差连接让梯度通过恒等路径直接回传,解决了梯度消失。(3)允许网络退化为浅层网络(残差项可学习为0)。成就:152层ResNet(比VGG深8倍但复杂度更低)以3.57% Top-5误差赢得2015 ImageNet冠军,远超人类水平。残差连接也成为现代深度学习基础设计模式。