Adam优化器的核心公式和优势
请详细解析**Adam(Adaptive Moment Estimation)**优化器的数学原理，它结合了哪些优化算法的思想？
回答
小字辈
Adam结合了Momentum和RMSProp的优点。维护两个指数移动平均：1)一阶矩（梯度均值，Momentum项）：m_t = β₁·m_{t-1} + (1-β₁)·g_t。2)二阶矩（梯度方差，自适应项）：v_t = β₂·v_{t-1} + (1-β₂)·g_t²。3)偏差校正：m̂_t = m_t/(1-β₁ᵗ)，v̂_t = v_t/(1-β₂ᵗ)。4)更新：θ_{t+1} = θ_