CDAN对抗生成网络入门指南：从核心原理到实战应用

1次阅读

共计 1595 个字符，预计需要花费 4 分钟才能阅读完成。

在机器学习中，我们常遇到训练数据（源域）和测试数据（目标域）分布不一致的问题。比如用清晰实验室拍摄的医学图像训练的模型，在实际应用时遇到手机拍摄的模糊图像，性能就会大幅下降。传统方法需要大量标注目标域数据，而 CDAN 通过对抗训练自动对齐两个领域的特征分布，实现 ” 用源域数据训练，在目标域表现好 ” 的目标。

标准 GAN 只有生成器和判别器的对抗
无法区分样本来自哪个特定领域
特征对齐是盲目的全局对齐

添加了领域分类器(Domain Classifier)
通过梯度反转层 (GRL) 实现特征提取器和分类器的对抗
但仍然是整体特征分布匹配

引入条件判别器(Conditional Discriminator)
将特征和分类器预测结果做联合分布匹配
公式：$L_{adv} = \mathbb{E}[logD(G_f(x),G_y(x))]$

特征提取器：
通常使用 ResNet 等骨干网络
输出维度为 256 或 512 的特征向量
标签预测器：
全连接层 +Softmax
输出类别概率分布
条件域判别器：
核心创新组件
输入是特征向量和类别预测的乘积
使用 GRL 实现对抗训练

前向传播计算特征和预测
计算分类损失 $L_c$（交叉熵）
计算对抗损失 $L_{adv}$（二元交叉熵）
梯度反转层反向传播

# 梯度反转层实现
class GradientReversalFunction(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x, alpha):
        ctx.alpha = alpha
        return x.view_as(x)

    @staticmethod
    def backward(ctx, grad_output):
        return grad_output.neg() * ctx.alpha, None

# 条件判别器定义        
class ConditionalDiscriminator(nn.Module):
    def __init__(self, feat_dim, num_classes):
        super().__init__()
        self.fc1 = nn.Linear(feat_dim * num_classes, 1024)
        self.fc2 = nn.Linear(1024, 1)

    def forward(self, f, y):
        # 特征与预测的乘积作为条件
        conditioned = f * y.unsqueeze(2)  
        out = F.relu(self.fc1(conditioned.flatten(1)))
        return torch.sigmoid(self.fc2(out))