迁移学习中域适应(Domain Adaptation)的核心方法

域适应核心问题：源域分布P_s(X,Y) ≠ 目标域P_t(X,Y)，但共享标签空间。

1. 基于差异的方法：

• MMD（最大均值差异）：
  • 在再生核希尔伯特空间中最小化源域和目标域嵌入的均值差异
  • ||(1/n)Σ φ(xᵢˢ) - (1/m)Σ φ(xⱼᵗ)||_H²
  • Deep Coral（CORrelation ALignment）：对齐源域和目标域的协方差矩阵
• CORAL：min ||C_s - C_t||²_F（C为协方差矩阵）

2. 基于对抗的方法：

• 域判别器D判断样本来自源域还是目标域
• 特征提取器G混淆D（梯度反转层GRL实现）
• 损失 = L_class(源域标签) + λ · L_adv(域混淆)
• 经典工作：DANN（Domain Adversarial Neural Network）

3. 基于自训练（Self-training）：

• 在源域训练模型 → 对目标域做伪标注 → 选择高置信度样本加入训练
• 迭代精炼（需要确认机制防噪声积累）

4. 其他方法：

• 熵最小化：鼓励目标域的预测为高置信度（低熵）
• 基于原型（Prototype）：对齐两域的类原型
• 部分域适应：目标域标签是源域子集时的PnP方法