CGAN条件生成对抗网络实战：从零构建图像生成模型

共计 1936 个字符，预计需要花费 5 分钟才能阅读完成。

为什么需要 CGAN？

传统 GAN 虽然能生成逼真图像，但存在一个致命缺陷——无法控制生成内容的类别。想象你训练了一个生成动物的 GAN，却无法指定要生成猫还是狗。CGAN 通过引入条件标签，实现了对生成过程的精确控制。

新手常犯的错误包括：

• 忘记将标签信息同时传给生成器和判别器
• 标签嵌入维度选择不当导致信息丢失
• 使用 Sigmoid 输出时未正确处理多分类标签

CGAN 核心技术解析

结构对比

1. 与 DCGAN 的区别 ：DCGAN 使用卷积结构提升生成质量，但仍是无条件生成；CGAN 在 DCGAN 基础上增加了标签条件输入
2. 与 WGAN 的区别 ：WGAN 通过 Wasserstein 距离改进训练稳定性，而 CGAN 专注解决条件控制问题，两者可结合使用

标签注入的两种方式

• 拼接 (Concat)：将标签嵌入向量与噪声向量直接拼接

  # 生成器输入示例
  noise = torch.randn(batch_size, latent_dim)
  label_emb = embedding_layer(labels) # 嵌入层
  gen_input = torch.cat([noise, label_emb], dim=1)

• 嵌入 (Embedding)：通过嵌入层将离散标签转为连续向量

  # 嵌入层定义
  self.embed = nn.Embedding(num_classes, embedding_dim)
  # 维度建议：embedding_dim 通常取 latent_dim 的 1 / 4 到 1 /2

完整 PyTorch 实现

import torch
import torch.nn as nn

class Generator(nn.Module):
    def __init__(self, latent_dim, num_classes, img_channels):
        super().__init__()
        self.label_emb = nn.Embedding(num_classes, latent_dim)

        self.model = nn.Sequential(nn.Linear(latent_dim*2, 128*7*7),  # 双倍维度因为要拼接
            nn.Unflatten(1, (128, 7, 7)),
            nn.BatchNorm2d(128),
            nn.ReLU(),
            # 上采样层...
        )

    def forward(self, noise, labels):
        # 条件注入关键步骤
        label_emb = self.label_emb(labels)
        gen_input = torch.cat([noise, label_emb], dim=1)
        return self.model(gen_input)

训练循环中需特别注意：

1. 每次迭代都要重新采样真实数据的标签
2. 生成假数据时使用随机采样的目标标签
3. 损失计算时要传入对应标签

提升生成质量的实用技巧

FID 评估指南

1. 安装计算库：

   pip install pytorch-fid

2. 计算分数：

   from pytorch_fid import fid_score
   fid_value = fid_score.calculate_fid_given_paths([real_img_path, fake_img_path],
       batch_size=50,
       device='cuda'
   )

   FID 低于 30 说明质量较好，20 以下达到工业级标准

训练稳定性优化

• 使用 TTUR 策略：判别器学习率设为生成器的 4 倍
• 添加梯度惩罚：

  # WGAN-GP 中的梯度惩罚项
  grad_penalty = lambda_gp * ((gradients.norm(2, dim=1) - 1) ** 2).mean()

• 监控模式崩溃：定期检查生成样本的多样性

新手避坑指南

处理类别不平衡

• 在数据加载器中设置 sampler 参数
• 对少数类别适当增加生成权重
• 使用 AC-GAN 等改进架构

调试梯度消失

1. 检查各层梯度范数：

   for name, param in model.named_parameters():
       print(name, param.grad.norm())

2. 尝试：
3. 使用 LeakyReLU 代替 ReLU
4. 添加谱归一化 (Spectral Norm)
5. 调小学习率

显存优化建议

• 使用混合精度训练：

  scaler = torch.cuda.amp.GradScaler()
  with torch.cuda.amp.autocast():
      # 前向计算...

• 减少 batch size 并累积梯度
• 使用梯度检查点技术

扩展思考

如何实现同时控制类别和风格的生成？比如指定生成 ” 戴眼镜的短发女性 ”。可以考虑：

1. 将条件标签扩展到多模态（类别 + 属性）
2. 使用 StyleGAN 的风格注入机制
3. 引入 CLIP 等跨模态编码器

通过本教程，你应该已经掌握了 CGAN 的核心实现方法。记住关键点：条件信息要贯穿网络始终，评估指标不要只看损失值。动手尝试在 MNIST 或 CIFAR-10 上实现你的第一个条件生成模型吧！