Classifier-Free Guidance (CFG) 扩散模型详解：从原理到实战避坑指南

共计 1788 个字符，预计需要花费 5 分钟才能阅读完成。

背景痛点：传统 classifier guidance 的局限性

扩散模型在生成高质量样本时，往往需要在控制性和多样性之间进行权衡。传统方法采用 classifier guidance，通过引入预训练的分类器来引导生成过程。然而，这种方法存在几个明显的局限性：

• 需要额外训练一个分类器，增加了模型复杂度和训练成本
• 分类器的性能直接影响生成质量，容易出现偏差
• 难以适应多模态任务，灵活性不足

CFG 的数学原理

Classifier-Free Guidance (CFG) 通过重新参数化条件概率分布，避免了单独训练分类器的需要。其核心公式为：

$$
\hat{\epsilon}\theta(x_t,c) = \epsilon\theta(x_t) + \gamma(\epsilon_\theta(x_t,c) – \epsilon_\theta(x_t))
$$

其中：
– $\epsilon_\theta(x_t)$ 是无条件噪声预测
– $\epsilon_\theta(x_t,c)$ 是条件噪声预测
– $\gamma$ 是引导权重，控制条件信息的强度

当 $\gamma=1$ 时，退化为标准条件扩散模型；当 $\gamma>1$ 时，增强条件信息的影响。

PyTorch 实现

下面是一个完整的 CFG 采样过程实现：

import torch
import torch.nn as nn

class CFGDiffusion(nn.Module):
    def __init__(self, model, gamma=7.5):
        super().__init__()
        self.model = model  # 基础扩散模型
        self.gamma = gamma  # 引导权重

    def forward(self, x, t, c=None):
        # 无条件预测
        eps_uncond = self.model(x, t, None)

        if c is None:
            return eps_uncond

        # 条件预测
        eps_cond = self.model(x, t, c)

        # CFG 融合
        eps = eps_uncond + self.gamma * (eps_cond - eps_uncond)

        # 梯度裁剪（防止数值不稳定）eps = torch.clamp(eps, -1.0, 1.0)

        return eps

# 使用示例
model = YourDiffusionModel()  # 替换为实际的扩散模型
cfg_model = CFGDiffusion(model, gamma=7.5)

实验对比

在 CIFAR-10 数据集上的实验结果（RTX 3090 GPU）：

可以看出，当 γ =7.5 时取得最佳平衡点，继续增大 γ 值会导致质量下降。

避坑指南

显存优化

• 使用梯度检查点技术：

  from torch.utils.checkpoint import checkpoint
  
  def forward(self, x, t, c):
      return checkpoint(self._forward, x, t, c)

• 混合精度训练：

  scaler = torch.cuda.amp.GradScaler()
  
  with torch.cuda.amp.autocast():
      loss = model(x, t, c)
  scaler.scale(loss).backward()
  scaler.step(optimizer)
  scaler.update()

数值稳定性

• 梯度裁剪：

  torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

• 输入归一化：

  x = (x - mean) / std  # 保持输入在合理范围 

多 GPU 训练

• 使用 DistributedDataParallel 时，注意同步条件信息：

  # 确保所有进程获得相同的条件输入
  torch.distributed.broadcast(c, src=0)

延伸思考

1. 如何将 CFG 应用于视频生成任务？考虑时序一致性的特殊处理
2. γ 值是否应该随时间步变化？设计自适应调整策略
3. 在多条件引导场景下（如文本 + 图像），如何设计融合策略

总结

Classifier-Free Guidance 通过巧妙的条件 / 无条件预测融合，在保持生成质量的同时实现了更灵活的控制。实际应用中需要注意梯度稳定性问题，并通过实验确定最佳 γ 值。该技术已成功应用于 Stable Diffusion 等主流生成模型，是扩散模型研究的重要进展。