Classifier-Free Guidance条件扩散模型入门指南：从理论到PyTorch实战

1次阅读

共计 1409 个字符，预计需要花费 4 分钟才能阅读完成。

传统 classifier guidance 方法通过预训练分类器的梯度（gradient）来引导扩散过程，但存在两个致命缺陷：

梯度冲突 ：分类器训练目标与生成质量目标不一致，导致梯度方向出现偏差
计算代价 ：需要额外的前向 - 后向传播计算，显存占用增加 30% 以上

而 classifier-free guidance 通过联合训练条件 / 无条件扩散模型，直接学习条件嵌入（conditional embedding）的语义控制能力。其优势在于：

统一的目标函数避免梯度冲突
单次前向传播完成条件生成
条件强度可通过 guidance scale 连续调节

class ConditionalDiffusion(nn.Module):
    def __init__(self, unet_dim=512, cond_dim=128):
        super().__init__()
        # 共享主干网络
        self.unet = UNet(dim=unet_dim)  # [B,C,H,W]->[B,C,H,W] 
        # 条件嵌入层
        self.cond_proj = nn.Linear(cond_dim, unet_dim)  # [B,D_cond]->[B,D_model]

    def forward(self, x, t, cond=None):
        # 无条件分支
        if cond is None:
            return self.unet(x, t)  # [B,C,H,W]
        # 条件分支
        cond_emb = self.cond_proj(cond)  # [B,D_model]
        return self.unet(x, t, cond_emb)  # 需修改 UNet 支持条件输入

训练时交替使用两种输入：

50% 概率使用真实条件文本
50% 概率将 cond 设为 None

定义条件预测 ε_c 和无条件预测 ε_u，最终噪声预测为：

ε_θ = ε_u + w(ε_c - ε_u)

其中 w（guidance weight）控制条件强度：

w= 1 时退化为普通条件模型
w>1 时增强条件控制
w<1 时降低条件影响

# 文本编码器输出形状 [B, seq_len, D_text]
text_emb = clip_model.encode_text(prompts) 
# 均值池化获得全局条件向量 [B, D_text]
cond = text_emb.mean(dim=1)  
# 调节条件强度
noise_pred = (1 + guidance_scale) * cond_pred - guidance_scale * uncond_pred