cfg扩散模型实战：解决生成式AI中的控制与稳定性难题

1次阅读

共计 1863 个字符，预计需要花费 5 分钟才能阅读完成。

在文本到图像生成等任务中，我们经常遇到这样的问题：模型生成的图像虽然质量不错，但往往和我们输入的文本描述有偏差。比如要求生成 ” 戴着红色帽子的狗 ”，结果帽子颜色变成了粉色，或者狗变成了猫。这种现象称为 ” 属性漂移 ”，本质上是模型对输入条件的控制力不足。

传统扩散模型在无条件生成时表现尚可，但一旦加入条件控制，就会面临两个矛盾：

控制太弱时，生成结果与条件无关
控制太强时，生成多样性大幅下降

早期解决方案是 Classifier Guidance，它需要额外训练一个分类器来指导生成过程。这个方法有三大痛点：

需要单独训练分类器，增加计算成本
分类器和生成模型的优化目标不一致
对超参数极其敏感，调节困难

Classifier-Free Guidance(CFG) 的巧妙之处在于：

统一训练：同时训练有条件和无条件两个版本
动态插值：通过 guidance scale 参数控制条件强度

数学表达上，CFG 的生成方向是：

$$\epsilon_\theta(x_t,c) = \epsilon_\theta(x_t) + s\cdot(\epsilon_\theta(x_t,c) – \epsilon_\theta(x_t))$$

其中 s 就是 guidance scale，控制条件强度。

class CFGDiffusion(nn.Module):
    def __init__(self, base_model):
        super().__init__()
        self.model = base_model  # 原始扩散模型
        self.condition_dropout = 0.1  # 条件丢弃概率

    def forward(self, x, t, c=None):
        # x: 噪声图像 [B,C,H,W]
        # t: 时间步 [B]
        # c: 条件向量 [B,D] 或 None

        # 随机丢弃条件
        if c is not None and self.training:
            mask = (torch.rand(len(x)) > self.condition_dropout).to(x.device)
            c = c * mask[:,None]

        return self.model(x, t, c)

关键是在采样循环中加入条件插值：

def sample_with_cfg(model, shape, c, guidance_scale=7.5):
    # 初始化噪声
    x = torch.randn(shape).to(device)

    for t in tqdm(reversed(range(0, timesteps))):
        # 同时计算有条件和无条件预测
        with torch.no_grad():
            eps_uncond = model(x, t, c=None)
            eps_cond = model(x, t, c=c)

        # 条件插值
        eps = eps_uncond + guidance_scale * (eps_cond - eps_uncond)

        # 常规扩散更新步骤
        x = update_x(x, eps, t)

    return x

通过实验可以得到典型的变化曲线：