深度卷积生成对抗网络(DCGAN)实战指南：从零构建高保真图像生成模型

共计 2860 个字符，预计需要花费 8 分钟才能阅读完成。

背景：为什么需要 DCGAN？

在传统 GAN 的训练过程中，我们经常会遇到两个令人头疼的问题：

1. 模式崩溃（Mode Collapse）：生成器发现某些特定样本能轻易骗过判别器后，就会不断生成这些相似样本，导致生成多样性大幅下降。比如生成手写数字时，可能只会产生 ”1″ 而忽略其他数字。

2. 梯度消失：当判别器过于强大时，生成器得到的梯度会变得非常小，导致模型停止更新。这就像老师总给学生打零分，学生就不知道该如何改进了。

DCGAN 通过以下创新解决了这些问题：

• 使用卷积网络替代全连接层，更好地捕捉图像的空间特征
• 引入批量归一化（BatchNorm）稳定训练过程
• 采用 LeakyReLU 防止梯度消失
• 精心设计的网络结构使生成图像质量显著提升

核心架构实现

生成器设计

生成器的任务是将随机噪声 ” 上采样 ” 为逼真图像。这里采用转置卷积（Transposed Convolution）实现：

class Generator(nn.Module):
    def __init__(self, latent_dim=100):
        super().__init__()
        self.main = nn.Sequential(
            # 输入: latent_dim x 1 x 1
            nn.ConvTranspose2d(latent_dim, 512, 4, 1, 0, bias=False),
            nn.BatchNorm2d(512),  # 批量归一化加速收敛
            nn.ReLU(True),        # 使用 ReLU 激活
            # 当前维度: 512 x 4 x 4

            nn.ConvTranspose2d(512, 256, 4, 2, 1, bias=False),
            nn.BatchNorm2d(256),
            nn.ReLU(True),
            # 256 x 8 x 8

            nn.ConvTranspose2d(256, 128, 4, 2, 1, bias=False),
            nn.BatchNorm2d(128),
            nn.ReLU(True),
            # 128 x 16 x 16

            nn.ConvTranspose2d(128, 3, 4, 2, 1, bias=False),
            nn.Tanh()  # 输出像素值归一化到[-1,1]
            # 3 x 32 x 32
        )

关键设计要点：

• 每层转置卷积后接 BatchNorm 和 ReLU
• 最后一层使用 Tanh 将输出约束到 [-1,1] 区间
• 逐步将噪声向量 (100 维) 上采样到目标图像尺寸(如 32×32)

判别器设计

判别器是标准的 CNN 分类器，但需要注意：

1. 使用 LeakyReLU 代替 ReLU，避免负梯度被完全抑制
2. 不加 BatchNorm（论文中发现会导致不稳定）
3. 最后一层是线性层，输出单个判别分数

class Discriminator(nn.Module):
    def __init__(self):
        super().__init__()
        self.main = nn.Sequential(
            # 输入: 3 x 32 x 32
            nn.Conv2d(3, 64, 4, 2, 1, bias=False),
            nn.LeakyReLU(0.2, inplace=True),
            # 64 x 16 x 16

            nn.Conv2d(64, 128, 4, 2, 1, bias=False),
            nn.LeakyReLU(0.2, inplace=True),
            # 128 x 8 x 8

            nn.Conv2d(128, 256, 4, 2, 1, bias=False),
            nn.LeakyReLU(0.2, inplace=True),
            # 256 x 4 x 4

            nn.Conv2d(256, 1, 4, 1, 0, bias=False)
            # 输出: 1 x 1 x 1
        )

损失函数与训练技巧

原始 GAN 使用 JS 散度作为损失函数，但存在梯度不稳定问题。我们采用 Wasserstein 距离改进（WGAN-GP）：

def gradient_penalty(critic, real, fake, device):
    batch_size = real.shape[0]
    # 在真实样本和生成样本之间随机插值
    epsilon = torch.rand(batch_size, 1, 1, 1).to(device)
    interpolated = epsilon * real + (1 - epsilon) * fake

    # 计算插值样本的判别分数
    disc_interpolated = critic(interpolated)

    # 计算梯度
    grad = torch.autograd.grad(
        outputs=disc_interpolated,
        inputs=interpolated,
        grad_outputs=torch.ones_like(disc_interpolated),
        create_graph=True,
        retain_graph=True
    )[0]

    # 梯度惩罚项
    grad_norm = grad.view(batch_size, -1).norm(2, dim=1)
    penalty = ((grad_norm - 1) ** 2).mean()
    return penalty

训练循环的关键步骤：

1. 对真实样本和生成样本分别计算判别器输出
2. 计算 Wasserstein 距离损失
3. 添加梯度惩罚项
4. 交替更新生成器和判别器

实战避坑指南

解决梯度爆炸的 5 种方法

1. 梯度裁剪（Gradient Clipping）：

   torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

2. 使用 WGAN-GP 代替原始 GAN 损失
3. 适当降低学习率（通常从 1e- 4 开始尝试）
4. 在判别器中使用谱归一化（Spectral Norm）
5. 避免使用过大的 batch size（推荐 64-256）

监控模式崩溃

• Inception Score (IS)：同时衡量生成图像的清晰度和多样性
• Fréchet Inception Distance (FID)：比较生成图像与真实图像的分布距离
• 可视化检查：定期保存生成样本，人工检查多样性

性能优化与评估

在 CIFAR-10 上的典型指标：

显存占用分析（RTX 3090）：

• batch_size=64: 约 2.4GB
• batch_size=128: 约 4.1GB
• batch_size=256: 报 OOM 错误

扩展思考

条件式 DCGAN

通过将类别标签信息注入生成器和判别器，可以实现指定类别的图像生成。关键修改：

1. 在生成器输入层拼接类别 embedding
2. 在判别器最后一层前添加类别信息

DCGAN vs StyleGAN

1. 架构差异：
2. DCGAN 使用简单的转置卷积结构
3. StyleGAN 引入风格向量和噪声输入
4. 生成质量：
5. DCGAN 适合低分辨率图像(64×64 以下)
6. StyleGAN 可生成高分辨率逼真图像
7. 训练难度：
8. DCGAN 相对容易训练
9. StyleGAN 需要更多技巧和计算资源

结语

通过本文的实践，我们完整实现了 DCGAN 模型，并解决了训练过程中的常见问题。建议读者先从 CIFAR-10 等小数据集开始实验，逐步掌握调参技巧后，再尝试更高分辨率的图像生成。完整的项目代码已放在 GitHub 仓库中，包含训练脚本和预训练模型，欢迎 Star 和 Fork！