PCA主成分分析的数学推导与方差最大化解释

PCA方差最大化推导：

目标：找到方向w（||w||=1），使投影后数据方差最大。

1. 第一主成分： 投影后数据：wᵀX，方差 = wᵀΣw（Σ为协方差矩阵） 优化问题：max wᵀΣw，s.t. wᵀw=1 拉格朗日乘子法：L = wᵀΣw - λ(wᵀw - 1) ∂L/∂w = 2Σw - 2λw = 0 → Σw = λw 即w是Σ的特征向量，λ是特征值。 方差 = wᵀΣw = λ，所以选择最大特征值对应的特征向量。

2. 第二主成分： 在与第一主成分正交的方向中找最大方差方向 同样得到第二大特征值对应的特征向量

3. 矩阵形式： X的奇异值分解：X = UDVᵀ，主成分得分 = XV = UD

最优线性重构性质：

• PCA是在所有线性降维方法中，最小化重构误差（MSE）的方法
• 即PCA同时等价于最小化||X - X_hat||²_F
• 保留前k个主成分，重构误差 = Σ_{i=k+1}^{d} λ_i

实践要点：需先对数据中心化，建议标准化（量纲不同时）。