生成对抗网络（GAN）实战：解决图像生成中的模式崩溃问题

1次阅读

共计 1806 个字符，预计需要花费 5 分钟才能阅读完成。

在图像生成任务中，生成对抗网络（GAN）常面临模式崩溃（Mode Collapse）问题，导致生成样本多样性不足。本文深入分析模式崩溃的成因，提出结合 Wasserstein 距离和梯度惩罚的改进方案，通过 PyTorch 实现稳定训练。读者将掌握如何通过损失函数设计和训练技巧提升 GAN 的生成质量，并附有可复现的代码示例。

模式崩溃（Mode Collapse）是 GAN 训练中的常见问题，表现为生成器倾向于生成少量相似样本，而忽略了数据分布的其他模式。这种现象在 MNIST 和 CIFAR-10 数据集上尤为明显。

MNIST 示例：生成器可能仅生成数字“1”或“7”，而忽略其他数字。
CIFAR-10 示例：生成器可能仅生成某类动物（如猫），而忽略其他类别（如狗、鸟等）。

模式崩溃的根本原因是生成器和判别器之间的不平衡，导致生成器“走捷径”生成判别器难以区分的样本。

原始 GAN 使用的 JS 散度（Jensen-Shannon Divergence）在训练中容易出现梯度消失或模式崩溃。WGAN-GP（Wasserstein GAN with Gradient Penalty）通过以下改进解决了这些问题：

Wasserstein 距离：替代 JS 散度，提供更平滑的梯度。
梯度惩罚：强制判别器满足 Lipschitz 约束，避免权重剪裁带来的训练不稳定。

WGAN-GP 的核心优势在于：

训练更稳定，减少模式崩溃。
生成样本质量更高，多样性更好。

以下是 PyTorch 实现的 WGAN-GP 核心代码：

import torch
import torch.nn as nn

# 判别器实现
class Discriminator(nn.Module):
    def __init__(self):
        super().__init__()
        self.model = nn.Sequential(nn.Linear(784, 512),
            nn.LeakyReLU(0.2),
            nn.Linear(512, 256),
            nn.LeakyReLU(0.2),
            nn.Linear(256, 1)
        )

    def forward(self, x):
        return self.model(x)

# 梯度惩罚计算
def compute_gradient_penalty(D, real_samples, fake_samples):
    # 随机插值
    alpha = torch.rand(real_samples.size(0), 1)
    interpolates = (alpha * real_samples + (1 - alpha) * fake_samples).requires_grad_(True)
    d_interpolates = D(interpolates)
    fake = torch.ones(real_samples.size(0), 1).requires_grad_(False)

    # 计算梯度
    gradients = torch.autograd.grad(
        outputs=d_interpolates,
        inputs=interpolates,
        grad_outputs=fake,
        create_graph=True,
        retain_graph=True,
        only_inputs=True
    )[0]

    # 梯度惩罚
    gradient_penalty = ((gradients.norm(2, dim=1) - 1) ** 2).mean()
    return gradient_penalty

关键注释：