Classifier-Free Guidance条件扩散模型入门指南：从理论到PyTorch实战

1次阅读

没有评论

共计 1610 个字符，预计需要花费 5 分钟才能阅读完成。

在生成式 AI 领域，扩散模型（Diffusion Models）已成为图像生成的主流方法。传统方法使用 classifier guidance（分类器引导）来提高生成质量，但这种方式存在两个主要缺陷：

需要额外训练一个分类器，增加了计算成本
通过分类器梯度引导生成过程，容易导致模式坍塌（mode collapse）

相比之下，classifier-free guidance（CFG）通过联合训练条件 / 无条件扩散模型，从根本上解决了这些问题。它的优势在于：

单一模型同时支持条件生成和无条件生成
不需要额外的分类器，减少计算资源消耗
通过隐式学习条件分布，生成质量更稳定

CFG 的关键是在训练时随机丢弃条件信息（通常以 10%-30% 的概率），让模型同时学习有条件和无条件生成。具体流程如下：

准备数据集时，为每个样本附加条件标签（如文本描述）
训练时随机选择部分样本丢弃条件信息
模型需要同时优化两种情况的损失函数

数学表达式为：

L = λ * L_cond + (1-λ) * L_uncond

其中 λ 是条件保留概率，通常设为 0.7-0.9。

推理阶段通过调节 guidance scale（w）来控制条件影响力：

ε_guided = ε_uncond + w * (ε_cond - ε_uncond)

推导过程：

无条件预测噪声：ε_uncond
有条件预测噪声：ε_cond
通过线性插值得到最终噪声预测

w 的经验值通常在 7.5-15 之间，过大可能导致生成图像过于刻板。

import torch
import torch.nn as nn

class CFGDiffusion(nn.Module):
    def __init__(self, model_dim=512, cond_dim=768):
        super().__init__()
        # 条件嵌入层 [batch_size, cond_dim] -> [batch_size, model_dim]
        self.cond_proj = nn.Linear(cond_dim, model_dim)
        # 主 UNet 模型
        self.unet = UNet(model_dim)  # 假设已有 UNet 实现

    def forward(self, x, t, cond=None):
        """
        输入:
            x: 噪声图像 [batch, 3, H, W]
            t: 时间步 [batch]
            cond: 条件嵌入 [batch, cond_dim] 或 None
        输出:
            预测噪声 [batch, 3, H, W]
        """
        # 时间嵌入
        t_emb = self.time_embed(t)  # [batch, model_dim]

        # 条件处理
        if cond is not None:
            cond_emb = self.cond_proj(cond)  # [batch, model_dim]
            h = t_emb + cond_emb
        else:
            h = t_emb

        return self.unet(x, h)

在不同 guidance weight（w）下测试结果：