深入解析CFG扩散模型：从原理到工程实践

1次阅读

没有评论

共计 1781 个字符，预计需要花费 5 分钟才能阅读完成。

扩散模型在生成任务中表现出色，但加入条件引导（CFG）后常遇到两个典型问题：

模式崩溃 ：模型倾向于生成少数几种相似样本，多样性显著下降
梯度爆炸 ：训练后期出现 loss 剧烈震荡，尤其在高 guidance scale 时更明显

这些问题的根源在于条件信息的引入改变了原始扩散过程的梯度分布。当无条件预测和条件预测差异过大时，反向传播会产生异常梯度值。

CFG 的核心思想是通过插值无条件预测和条件预测来引导生成方向。定义条件预测为 $\epsilon_\theta(x_t|c)$，无条件预测为 $\epsilon_\theta(x_t)$，则最终预测值为：

$$\epsilon_\theta^{cfg}(x_t|c) = \epsilon_\theta(x_t) + w(\epsilon_\theta(x_t|c) – \epsilon_\theta(x_t))$$

其中 $w$ 是 guidance scale 系数。这个公式本质上是在原始无约束生成方向上叠加一个条件梯度：

$$\nabla_{x_t} \log p(x_t|c) \approx \nabla_{x_t} \log p(x_t) + w(\nabla_{x_t} \log p(x_t|c) – \nabla_{x_t} \log p(x_t))$$

class CosineScheduler:
    def __init__(self, timesteps, s=0.008):
        self.timesteps = timesteps
        self.s = s  # 控制曲线陡峭程度

    def __call__(self, t):
        # 余弦调度公式
        t = (t / self.timesteps + self.s) / (1 + self.s)
        return torch.cos(t * math.pi / 2).clamp(min=1e-5)

class ConditionEmbedder(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.proj = nn.Sequential(nn.Linear(dim, dim * 4),
            nn.SiLU(),
            nn.Linear(dim * 4, dim)
        )

    def forward(self, cond):
        # cond: [batch_size, cond_dim]
        return self.proj(cond)  # [batch_size, latent_dim]

def train_step(model, x, cond, cfg_scale=7.0):
    # 前向过程
    eps_uncond = model(x, cond=None)
    eps_cond = model(x, cond=cond)

    # CFG 预测
    eps_pred = eps_uncond + cfg_scale * (eps_cond - eps_uncond)

    # 梯度裁剪（关键！）grad_norm = torch.nn.utils.clip_grad_norm_(model.parameters(), 
        max_norm=1.0  # 经验值
    )

    return eps_pred

我们在 CelebA-HQ 数据集上测试不同 $w$ 值的效果：