LeakyReLU如何解决神经元死亡问题？
请介绍**LeakyReLU(带泄漏的ReLU)**的数学形式以及它如何缓解ReLU的神经元死亡(Dying ReLU)问题。
回答
小字辈
LeakyReLU: f(x)=max(αx, x)，通常α=0.01（小正数）。当x<0时，输出为αx而非0，因此负半轴仍有小梯度（α），神经元有机会「复活」。改进效果：(1)负半轴梯度非零→参数更新时神经元可以从死亡状态恢复。(2)保留了ReLU正半轴梯度恒为1的优点。(3)整体性能通常优于ReLU。变体：(1)PReLU(Parametric ReLU)：α作为可学习参数，由网络自动学习。(2)RReLU(Randomized LeakyReLU)：训练时α在范围内随机采样，测试时取均值。实际中LeakyReLU和PReLU在深层网络（如ResNet变体）中比ReLU表现更好。