深入解析扩散模型中的cfg(classifier-free guidance)：平衡语义与图像自然度的核心技术

1次阅读

没有评论

共计 1351 个字符，预计需要花费 4 分钟才能阅读完成。

扩散模型在生成高质量图像方面取得了显著进展，但如何在保持语义一致性的同时确保图像自然度，一直是一个关键挑战。传统方法通常依赖于预训练的分类器（classifier guidance）来引导生成过程，但这带来了几个问题：

需要额外的分类器训练，增加了模型复杂度
分类器的质量直接影响生成效果
可能导致生成图像过度依赖分类器的偏好，牺牲多样性

Classifier-free guidance (cfg) 是近年来提出的一种更优雅的解决方案。与传统的 classifier guidance 相比，cfg 具有以下优势：

无需额外训练分类器，直接在扩散模型框架内实现引导
通过条件概率和无条件概率的插值实现更灵活的引导
计算效率更高，内存占用更低
可以更好地平衡语义一致性与图像自然度

cfg 的核心思想是通过同时训练条件生成和无条件生成模型，然后在推理阶段进行插值。其数学表达为：

ϵ_θ(x_t, t, c) = (1 + w)·ϵ_θ(x_t, t, c) - w·ϵ_θ(x_t, t)

其中：
– ϵ_θ 是噪声预测网络
– x_t 是 t 时刻的噪声图像
– c 是条件信息
– w 是引导权重，控制语义一致性与图像自然度的平衡

算法流程如下：

训练阶段：同时训练条件模型 ϵ_θ(x_t, t, c) 和无条件模型 ϵ_θ(x_t, t)
推理阶段：使用上述公式进行噪声预测
通过调整 w 值控制生成结果的特性

import torch
import torch.nn as nn

class DiffusionModelWithCFG(nn.Module):
    def __init__(self, model):
        super().__init__()
        self.model = model

    def forward(self, x_t, t, c=None, w=7.5):
        """
        带 cfg 的扩散模型前向传播
        Args:
            x_t: 噪声图像 [B, C, H, W]
            t: 时间步 [B]
            c: 条件信息 [B, ...]
            w: 引导权重
        Returns:
            预测的噪声 [B, C, H, W]
        """
        # 无条件预测
        eps_uncond = self.model(x_t, t, None)

        if c is None:
            return eps_uncond

        # 条件预测
        eps_cond = self.model(x_t, t, c)

        # cfg 插值
        eps = (1 + w) * eps_cond - w * eps_uncond

        return eps

在性能方面，cfg 相比传统方法具有以下特点：