cfg扩散模型入门指南：从原理到实战避坑

1次阅读

共计 1878 个字符，预计需要花费 5 分钟才能阅读完成。

近年来，扩散模型（Diffusion Models）已成为生成式 AI（AIGC）领域的核心技术之一。相比传统的 GAN（Generative Adversarial Networks）和 VAE（Variational Autoencoders），扩散模型通过逐步去噪的过程生成高质量样本，避免了 GAN 训练不稳定的问题，也解决了 VAE 生成样本模糊的缺陷。

其中，Classifier-Free Guidance（cfg）进一步提升了扩散模型的条件控制能力，使其在文本到图像生成等任务中表现出色。cfg 的核心思想是在训练过程中同时学习有条件和无条件生成，从而在推理阶段通过调节 guidance_scale 参数灵活控制生成结果与条件的对齐程度。

cfg 的关键在于其条件控制策略。给定条件 $y$，模型需要学习条件分布 $p_\theta(x|y)$ 和无条件分布 $p_\theta(x)$。在推理阶段，通过线性组合这两个分布来实现条件控制：

$$\hat{\epsilon}\theta(x_t,t,y) = \epsilon\theta(x_t,t,\emptyset) + s \cdot (\epsilon_\theta(x_t,t,y) – \epsilon_\theta(x_t,t,\emptyset))$$

其中，$s$ 就是 guidance_scale 参数，控制条件影响的强度。

扩散模型的核心组件是噪声预测网络，通常基于 U -Net 架构。相比传统 U -Net，扩散模型中的 U -Net 有以下改进：

增加了时间步嵌入（timestep embedding）
引入了注意力机制（attention layers）
使用了残差连接（residual connections）
条件信息（如文本嵌入）通过交叉注意力（cross-attention）注入

下面是一个简化的 PyTorch 实现，展示 cfg 采样过程的关键部分：

import torch
import torch.nn as nn

class DiffusionModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 初始化噪声预测网络（通常是 U -Net）self.unet = UNet()

    def forward(self, x, t, y=None):
        # 预测噪声
        if y is None:
            return self.unet(x, t)  # 无条件预测
        else:
            return self.unet(x, t, y)  # 条件预测

    @torch.no_grad()
    def sample(self, y, steps=50, guidance_scale=7.5):
        # 初始化随机噪声
        x = torch.randn_like(y)

        for t in reversed(range(steps)):
            # 同时计算条件和无条件预测
            eps_uncond = self.forward(x, t, None)
            eps_cond = self.forward(x, t, y)

            # 应用 cfg
            eps = eps_uncond + guidance_scale * (eps_cond - eps_uncond)

            # 更新 x（简化版，实际需要更复杂的调度）x = (x - eps) / (1 - 1/steps)

        return x

关键参数说明：