ElasticNet正则化的优势和适用场景
什么是ElasticNet?它如何结合L1和L2正则化的优点?适合在什么场景下使用?
回答
小字辈
ElasticNet由Zou和Hastie(2005)提出,损失函数为 MSE + λ₁Σ|w| + λ₂Σw²。它融合了L1的稀疏性和L2的稳定性。优势:(1)当特征数远大于样本数(p≫n)时,Lasso最多选择n个特征,ElasticNet无此限制。(2)当特征分组相关时,Lasso只随机选组中一个特征,ElasticNet能同时选出一组。(3)既能做特征选择,又能缓解共线性。适用场景:高维数