条件生成对抗网络(CGAN)实战指南：从零构建图像生成模型

共计 1808 个字符，预计需要花费 5 分钟才能阅读完成。

为什么需要 CGAN？

传统 GAN（生成对抗网络）虽然能生成逼真图像，但无法控制生成内容的具体特征。比如在 MNIST 数据集上，我们无法指定生成数字 ”7″ 或 ”9″。CGAN（Conditional GAN）通过引入标签条件信息，让生成过程变得可控。

初学者常遇到的 5 大坑：

1. 模式坍塌（Mode Collapse）：生成器只输出单一类型样本
2. 梯度消失：判别器过早压倒生成器
3. 训练震荡：Loss 值剧烈波动不收敛
4. 条件失效：生成结果与输入标签无关
5. 生成模糊：图片缺乏清晰细节

技术选型对比

• DCGAN：使用卷积结构的基准模型，无条件控制
• WGAN：通过 Wasserstein 距离改善训练稳定性
• CGAN：核心创新是在生成器和判别器的输入层拼接条件标签

标签嵌入的两种方式：

1. 简单拼接（concat）：直接将标签 one-hot 向量拼接到输入向量
2. 投影嵌入（projection）：先通过全连接层转换标签维度

PyTorch 实现详解

# 环境要求：torch==1.12.1
def Generator(nn.Module):
    def __init__(self, latent_dim, num_classes):
        super().__init__()
        # 标签嵌入层（投影方式）self.label_emb = nn.Embedding(num_classes, latent_dim)

        self.model = nn.Sequential(nn.Linear(2*latent_dim, 256),  # 2 倍维度因为要拼接噪声和标签
            nn.LeakyReLU(0.2),
            nn.LayerNorm(256)
            # ... 后续卷积层省略
        )

    def forward(self, noise, labels):
        # 将噪声 z 与标签 embedding 拼接
        label_input = self.label_emb(labels)
        gen_input = torch.cat((label_input, noise), dim=-1)
        return self.model(gen_input)

关键实现细节：

1. 梯度惩罚项（Gradient Penalty）实现：

   def compute_gradient_penalty(D, real_samples, fake_samples, labels):
       # 随机插值样本
       alpha = torch.rand(real_samples.size(0), 1, 1, 1)
       interpolates = (alpha * real_samples + ((1 - alpha) * fake_samples)).requires_grad_(True)
   
       # 计算判别器对插值样本的输出
       d_interpolates = D(interpolates, labels)
   
       # 手动计算梯度
       gradients = torch.autograd.grad(
           outputs=d_interpolates,
           inputs=interpolates,
           grad_outputs=torch.ones_like(d_interpolates),
           create_graph=True
       )[0]
   
       # 梯度惩罚项
       return ((gradients.norm(2, dim=1) - 1) ** 2).mean()

训练过程可视化

配置 TensorBoard 记录以下指标：

1. 生成器 / 判别器 loss 曲线
2. 梯度变化直方图
3. 生成样本网格图

正常训练的特征：

• 判别器 loss 在 0.3-0.7 区间波动
• 生成图片随 epoch 增加逐渐清晰

异常情况示例：

• 判别器 loss 趋近 0 → 判别器过强
• 生成器 loss 持续上升 → 模式坍塌前兆

实战避坑指南

生产环境注意事项：

1. 禁用判别器的 BatchNorm（会导致梯度不稳定）
2. 使用两倍于生成器的判别器更新频率
3. 学习率不宜超过 1e-4

判别器过强的解决方案：

• 降低判别器的层数
• 添加梯度惩罚项
• 减少判别器的训练次数

进阶改进方向

1. 加入自注意力机制（Self-Attention）：

   # 在生成器卷积层后添加
   self.attn = nn.Sequential(nn.Conv2d(64, 8, 1),  # 压缩通道
       nn.Softmax(dim=-1)
   )

2. 尝试的扩展实验：

3. 在 CIFAR-10 上实现多标签条件生成
4. 比较 concat 和 projection 两种嵌入方式的效果差异

经过完整训练周期后，我的 CGAN 在 MNIST 上达到了 85% 的条件匹配准确率。建议读者先用小批量数据（如 256 张图）验证流程，再扩展到完整数据集。遇到训练不稳定时，可尝试逐步减小学习率或调整网络深度。