深入解析CGAN条件生成对抗网络框架图：从理论到实战

1次阅读

共计 2304 个字符，预计需要花费 6 分钟才能阅读完成。

生成对抗网络（GAN）在图像生成领域取得了显著成果，但传统 GAN 存在一个明显缺陷：无法控制生成内容的具体属性。比如，我们想生成特定类别的数字图像，传统 GAN 只能随机生成，无法指定生成 ” 数字 7 ″ 或 ” 数字 9 ″。这就是 CGAN 要解决的核心问题。

CGAN 通过在生成器和判别器中引入条件变量（如图像类别标签），实现了对生成过程的精确控制。这种条件控制机制打开了 GAN 在诸多领域的应用大门，比如：

根据文本描述生成对应图像
基于语义分割图生成真实场景
风格迁移中的特定风格控制

在条件生成模型领域，除了 CGAN 还有几种常见方案：

VAE with condition：变分自编码器的条件版本，生成质量通常不如 GAN
Flow-based models：需要设计可逆变换，计算复杂度高
Autoregressive models：生成速度慢，难以并行化

相比之下，CGAN 的优势在于：

生成质量高
训练相对稳定
条件控制直观
计算效率较好

不过 CGAN 也有自己的短板，比如模式崩溃问题依然存在，对条件信息的利用还不够充分等。

CGAN 的框架图可以分解为以下几个关键部分：

条件输入处理 ：
将条件信息（如类别标签）编码为向量
通常与噪声向量拼接后输入生成器
也会与真实 / 生成样本拼接后输入判别器
生成器设计 ：
基础结构与传统 GAN 类似
输入层需要处理拼接后的条件向量
中间层通常使用转置卷积进行上采样
输出层需要匹配目标数据的维度
判别器设计 ：
输入是数据与条件的拼接
采用卷积网络提取特征
最终输出一个标量表示 ” 真实性 ” 概率
损失函数 ：
依然使用对抗损失
但加入了条件信息的约束
公式：min_G max_D V(D,G) = E[logD(x|y)] + E[log(1-D(G(z|y)))]

以下是 PyTorch 实现的 CGAN 核心代码：

import torch
import torch.nn as nn

class Generator(nn.Module):
    def __init__(self, latent_dim, num_classes, img_shape):
        super().__init__()
        self.label_embedding = nn.Embedding(num_classes, num_classes)

        self.model = nn.Sequential(nn.Linear(latent_dim + num_classes, 128),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(128, 256),
            nn.BatchNorm1d(256),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(256, 512),
            nn.BatchNorm1d(512),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(512, int(torch.prod(torch.tensor(img_shape)))),
            nn.Tanh())

    def forward(self, z, labels):
        # 将条件标签嵌入为向量
        c = self.label_embedding(labels)
        # 拼接噪声和条件向量
        x = torch.cat([z, c], dim=1)
        # 通过生成器网络
        img = self.model(x)
        return img.view(img.size(0), *img_shape)

class Discriminator(nn.Module):
    def __init__(self, num_classes, img_shape):
        super().__init__()
        self.label_embedding = nn.Embedding(num_classes, num_classes)

        self.model = nn.Sequential(nn.Linear(int(torch.prod(torch.tensor(img_shape))) + num_classes, 512),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(512, 256),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(256, 1),
            nn.Sigmoid())

    def forward(self, img, labels):
        # 展平图像
        img_flat = img.view(img.size(0), -1)
        # 嵌入条件标签
        c = self.label_embedding(labels)
        # 拼接图像和条件
        x = torch.cat([img_flat, c], dim=1)
        # 通过判别器网络
        validity = self.model(x)
        return validity

在 MNIST 数据集上的测试结果显示：