Classifier-Free Guidance (CFG) 扩散模型详解：原理、实现与性能优化

1次阅读

共计 1549 个字符，预计需要花费 4 分钟才能阅读完成。

扩散模型近年来在图像生成领域取得了显著进展，但传统方法通常需要额外训练一个分类器来引导生成过程。这种依赖分类器的方法存在几个明显问题：

计算开销大：需要同时训练扩散模型和分类器，显著增加了计算资源需求
训练复杂：分类器的训练和调优增加了系统复杂性
推理延迟：生成时需要同时运行两个模型，影响推理速度
兼容性问题：分类器的性能直接影响生成质量，可能引入额外的不稳定性

Classifier-Free Guidance (CFG) 通过条件嵌入直接实现高质量生成，无需额外分类器。其核心思想是在训练时随机丢弃条件信息，使模型同时学习有条件和无条件生成。

数学基础
扩散模型的前向过程可以表示为：

q(x_t|x_{t-1}) = N(x_t; √(1-β_t)x_{t-1}, β_tI)

逆向过程则通过神经网络近似：

p_θ(x_{t-1}|x_t) = N(x_{t-1}; μ_θ(x_t,t), Σ_θ(x_t,t))

CFG 关键公式
CFG 通过线性组合条件和无条件预测实现引导：
```
ε_θ(x_t,c) = (1+w)ε_θ(x_t,c) - wε_θ(x_t)
```
其中 w 是引导强度参数，c 是条件信息。
架构设计
共享主干网络
条件嵌入层
随机丢弃机制（训练时以固定概率 p =0.1~0.2 丢弃条件）

以下是 PyTorch 实现的核心部分：

import torch
import torch.nn as nn

class CFGDiffusion(nn.Module):
    def __init__(self, model, p_drop=0.1):
        super().__init__()
        self.model = model  # 基础扩散模型
        self.p_drop = p_drop  # 条件丢弃概率

    def forward(self, x, t, c=None):
        # 训练时随机丢弃条件
        if self.training and c is not None:
            mask = torch.rand(len(x)) > self.p_drop
            c = torch.where(mask[:,None], c, torch.zeros_like(c))

        return self.model(x, t, c)

    def guided_pred(self, x, t, c, w=7.5):
        # 推理时应用 CFG
        cond_pred = self(x, t, c)
        uncond_pred = self(x, t, None)
        return (1 + w) * cond_pred - w * uncond_pred

关键实现要点：