Classifier-Free Guidance条件扩散模型实战：如何解决生成质量与效率的平衡问题

1次阅读

没有评论

共计 2109 个字符，预计需要花费 6 分钟才能阅读完成。

扩散模型在生成任务中表现出色，但传统 classifier guidance 方法存在明显短板：

需要额外训练分类器，增加训练复杂度和显存消耗
分类器与扩散模型训练目标不一致，可能导致梯度冲突
推理阶段需多次调用分类器，降低生成速度

classifier-free guidance 的关键创新在于：

训练时随机丢弃条件信息（通常 30-50% 概率）
同一模型同时学习条件生成和无条件生成
推理时通过条件嵌入插值控制生成方向

数学表达为：

$$
\hat{\epsilon}\theta(x_t,c) = \epsilon\theta(x_t,\emptyset) + s \cdot (\epsilon_\theta(x_t,c) – \epsilon_\theta(x_t,\emptyset))
$$

其中 s 是 guidance scale 系数

维度	Classifier Guidance	Classifier-Free Guidance
额外参数量	分类器参数量	0
单步推理耗时	1.5x	1x
条件控制精确度	高	中等偏高
训练复杂度	高	中等

class ConditionalEmbedding(nn.Module):
    def __init__(self, num_classes, embedding_dim):
        super().__init__()
        self.embedding = nn.Embedding(num_classes, embedding_dim)

    def forward(self, x, class_labels=None):
        if class_labels is None:  # 无条件情况
            return x

        # 获取条件嵌入并扩展到与 x 相同维度
        cond_emb = self.embedding(class_labels).unsqueeze(2).unsqueeze(3)
        cond_emb = cond_emb.expand(-1, -1, *x.shape[2:])

        # 与输入特征融合
        return torch.cat([x, cond_emb], dim=1)

class CFGUNet(nn.Module):
    def __init__(self, dropout_prob=0.1):
        super().__init__()
        self.dropout_prob = dropout_prob
        # 初始化 UNet 各层...

    def forward(self, x, t, class_labels=None):
        # 训练时随机丢弃条件
        if self.training and random.random() < self.dropout_prob:
            class_labels = None

        # 通过条件嵌入层
        x = self.cond_embedding(x, class_labels)
        # 后续 UNet 处理...
        return x

s=1：纯无条件生成
1<s<3：平衡生成质量与多样性
s>5：可能产生过饱和伪影

建议通过 FID 指标选择最优值：

# 测试不同 scale 的 FID
for scale in [1.5, 2.0, 3.0, 5.0]:
    samples = generate_with_guidance(model, scale=scale)
    fid = calculate_fid(samples, real_images)
    print(f"Scale {scale}: FID={fid:.2f}")

概率太低（<0.1）：条件控制强但多样性差
概率太高（>0.5）：条件信息学习不充分
推荐范围：0.2-0.4

测试方法：

输入空条件生成样本
用分类器检测生成内容的类别分布
如果某些类别显著高于随机分布，则存在泄漏

修复方案：

增加 dropout 概率
在损失函数中添加条件对抗项

# 使用梯度检查点
from torch.utils.checkpoint import checkpoint

def forward_with_checkpoint(x, t, class_labels):
    return checkpoint(self._forward, x, t, class_labels)

在 CIFAR-10 上的测试数据：