Sigmoid激活函数有哪些优缺点？
请详细分析Sigmoid激活函数σ(x)=1/(1+e^{-x})的优缺点及其在现代深度学习中的使用情况。
回答
我还是少年
优点：(1)输出映射到(0,1)，可解释为概率。(2)平滑可导。严重缺点：(1)梯度消失——饱和区(|x|>5)梯度≈0，深层网络中梯度回传趋近于0，导致无法训练。(2)非零中心——输出恒为正，导致后层神经元输入全正，梯度更新呈Zigzag状，收敛慢。(3)计算指数运算开销大。(4)输出范围不是±1的对称区间。现代使用：除二分类输出层（概率解释需要）外，隐藏层基本被ReLU取代。注意：Sigmoid在Transformer注意力权重、门控机制(GRU/LSTM)中仍有重要应用。