CDAN对抗生成网络入门指南：从核心原理到实战应用

1次阅读

没有评论

共计 2410 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习中，我们经常遇到一个棘手的问题：在一个领域（比如白天拍摄的照片）训练好的模型，在另一个领域（比如夜间拍摄的照片）表现很差。这种现象叫做 ” 领域偏移 ”，本质上是两个领域的数据分布不同导致的。

传统解决方法需要大量标注数据来重新训练模型，但现实中标注数据成本很高。这就是 CDAN 这类领域自适应技术的用武之地——它能让模型自动学习跨领域的通用特征。

CDAN 是在两个经典网络基础上发展而来的：

GAN（生成对抗网络）：通过生成器和判别器的对抗训练生成新数据
DANN（领域对抗神经网络）：通过领域判别器让特征提取器学习领域无关的特征

CDAN 的关键改进是引入了 条件判别器：

传统 DANN 的判别器只看特征向量
CDAN 的判别器同时看特征向量和分类器的预测结果（条件信息）

这种设计让判别器能更精准地评估特征是否真的与领域无关。下图展示了这个核心区别：

[图示位置]
传统 DANN：特征提取器 → 特征 → 领域判别器
CDAN：特征提取器 → 特征 ⊕ 分类预测 → 条件领域判别器

CDAN 的训练过程就像一场精心编排的 ” 三角博弈 ”：

特征提取器（Feature Extractor）
目标：提取领域无关的特征
策略：欺骗领域判别器，让它分不清特征来自哪个领域
分类器（Classifier）
目标：保持对主任务的预测准确度
输出会作为条件信息提供给判别器
条件领域判别器（Conditional Discriminator）
目标：准确判断特征来自源领域还是目标领域
特殊设计：包含梯度反转层（GRL），反向传播时梯度乘以负值

它们的协作流程可以分解为：

前向传播计算分类损失和对抗损失
反向传播更新参数（注意 GRL 的特殊处理）
交替优化直到达到平衡

class ConditionalDiscriminator(nn.Module):
    def __init__(self, feature_dim, num_classes):
        super().__init__()
        # 融合特征和预测的条件层
        self.condition_fc = nn.Linear(num_classes, feature_dim)
        # 判别器主体
        self.model = nn.Sequential(GradientReversal(),  # 梯度反转层
            nn.Linear(feature_dim, 512),
            nn.ReLU(),
            nn.Linear(512, 1)
        )

    def forward(self, features, predictions):
        # 特征与预测的条件融合
        condition = self.condition_fc(predictions)
        conditioned_features = features * condition
        return self.model(conditioned_features)

class GradientReversal(Function):
    @staticmethod
    def forward(ctx, x):
        return x.view_as(x)

    @staticmethod
    def backward(ctx, grad_output):
        return grad_output.neg()  # 关键操作：梯度取反

# 分类损失（交叉熵）cls_loss = F.cross_entropy(predictions, labels)

# 对抗损失（二元交叉熵）domain_labels = torch.cat([torch.zeros(src_batch_size),  # 源领域标记为 0
    torch.ones(tgt_batch_size)    # 目标领域标记为 1
])
adversarial_loss = F.binary_cross_entropy_with_logits(domain_predictions, domain_labels)

# 总损失 = 分类损失 + λ* 对抗损失
total_loss = cls_loss + lambda_param * adversarial_loss

# 数据集应返回三元组：(数据, 类别标签, 领域标签)
class DomainDataset(Dataset):
    def __getitem__(self, idx):
        data = ...  # 加载图像 / 文本等数据
        class_label = ...  # 主任务标签
        domain_label = 0 if is_source else 1  # 领域标识
        return data, class_label, domain_label

现象：判别器准确率很快达到 100%，特征提取器学不到有用特征

解决方案：