RMSProp如何解决AdaGrad的学习率衰减问题？
请解释**RMSProp(Root Mean Square Propagation)**优化算法的原理，以及它如何改进AdaGrad的学习率持续衰减问题。
回答
古法程序员
RMSProp由Geoff Hinton提出，核心改进是用指数移动平均代替AdaGrad的梯度平方累加：E[g²]t = β·E[g²]{t-1} + (1-β)·g²_t，参数更新：θ_{t+1} = θ_t - (η / √(E[g²]_t + ε))·g_t。β通常取0.9。改进点：(1)历史梯度影响指数衰减，非单调累积，解决了AdaGrad学习率趋向零的问题。(2)自适应调整每个参数的学习