CycleGAN无配对图像翻译的原理

CycleGAN由Zhu等人于2017年提出，在无需配对训练数据的情况下实现两个域之间的图像翻译，是图像生成领域的里程碑。

问题背景： 传统的pix2pix需要配对数据（如相同场景的边缘图和彩色图），但许多任务（如照片转油画、斑马转马）难以获得配对数据。

双生成器-双判别器架构：

• 生成器G：将域X的图像翻译为域Y的图像（X→Y）。
• 生成器F：将域Y的图像翻译为域X的图像（Y→X）。
• 判别器D_Y：区分域Y的真假图像。
• 判别器D_X：区分域X的真假图像。

循环一致性损失（核心创新）： L_cyc(G,F) = E_{x~p_data(x)}[||F(G(x))-x||₁] + E_{y~p_data(y)}[||G(F(y))-y||₁]

• 思想：将一张图像翻译到另一域再翻译回来，应与原图一致。
• 约束G和F的翻译不改变图像的内容结构，只改变风格/域特征。
• 使用L1损失，鼓励生成更清晰的图像（相比L2产生更模糊的结果）。

完整损失函数： L(G,F,D_X,D_Y) = L_GAN(G,D_Y,X,Y) + L_GAN(F,D_X,Y,X) + λ·L_cyc(G,F)

• 对抗损失：确保G生成的图像在域Y中逼真。
• 循环一致性损失：确保内容结构不变（λ通常为10）。
• 可选的身份映射损失（Identity Loss）：L_id(G,F) = E_y[||G(y)-y||₁] + E_x[||F(x)-x||₁]，确保色彩稳定性。

生成器架构：

• 采用ResNet风格的编码器-解码器：
  • 编码器：卷积+Instance Normalization+ReLU（下采样）。
  • 转换器：9个残差块。
  • 解码器：转置卷积（上采样）。
• 使用Instance Normalization而非批归一化，更适合风格迁移任务。

应用：照片风格化、季节转换、物体变形等，已成为无监督图像翻译的标准框架。