扩散模型入门指南：深入理解cfg(classifier-free guidance)的工作原理与调参实践

1次阅读

共计 1357 个字符，预计需要花费 4 分钟才能阅读完成。

在扩散模型中，生成图像的过程是通过逐步去噪实现的。但单纯去噪很容易导致生成的图像虽然看起来自然，却与输入的文本描述（prompt）不符。这就是语义控制的重要性——我们需要在图像的自然度和语义一致性之间找到一个平衡点。

早期的 classifier guidance 方法虽然有效，但它需要一个额外的分类器模型，这大大增加了实现的复杂度。而 classifier-free guidance(cfg) 则巧妙地去掉了这个额外分类器，直接在训练时通过随机丢弃文本条件来学习有条件和无条件两种情况下的噪声预测。

cfg 的核心思想其实很简单：我们同时计算有条件（conditional）和无条件（unconditional）的噪声预测，然后把它们按一定比例混合。这个比例就是 guidance scale 参数。

数学表达式为：
$$\epsilon_{\theta}(x_t|c) = \epsilon_{\theta}(x_t|\emptyset) + s \cdot (\epsilon_{\theta}(x_t|c) – \epsilon_{\theta}(x_t|\emptyset))$$
其中：
– $\epsilon_{\theta}(x_t|c)$ 是最终使用的噪声预测
– $\epsilon_{\theta}(x_t|\emptyset)$ 是无条件预测
– $\epsilon_{\theta}(x_t|c)$ 是条件预测
– $s$ 就是 guidance scale

import torch
import torch.nn as nn

class DiffusionModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 模型定义
        self.unet = UNet()  # 假设已经定义了 UNet

    def forward(self, x, t, c=None):
        # 无条件预测
        uncond_pred = self.unet(x, t, None)

        if c is None:
            return uncond_pred

        # 条件预测
        cond_pred = self.unet(x, t, c)

        # 计算 cfg
        noise_pred = uncond_pred + guidance_scale * (cond_pred - uncond_pred)

        return noise_pred

guidance scale 参数对生成效果有很大影响：