深入解析扩散模型中的cfg(classifier-free guidance)：平衡语义与图像自然度的核心技术

1次阅读

共计 1826 个字符，预计需要花费 5 分钟才能阅读完成。

扩散模型（Diffusion Models）近年来在图像生成领域取得了显著进展，但如何平衡语义一致性与图像自然度一直是一个关键挑战。语义一致性指的是生成的图像与输入文本描述的高度匹配，而图像自然度则关注生成图像的质量和真实感。传统方法往往难以在这两者之间找到理想的平衡点。

传统方法的局限性：
早期方法依赖于复杂的后处理步骤来调整生成结果，这不仅增加了计算成本，还可能导致图像质量的下降。
另一种常见方法是使用分类器引导（classifier guidance），但这种方法需要额外的分类器模型，增加了模型的复杂性和训练难度。
分类器引导还容易受到分类器偏差的影响，导致生成图像的多样性受限。

cfg 与 classifier guidance 的对比：
classifier guidance：依赖于预训练的分类器来引导生成过程，虽然能有效提升语义一致性，但需要额外的模型和计算资源。
cfg(classifier-free guidance)：通过在同一模型中同时训练有条件和无条件的生成路径，避免了对外部分类器的依赖，简化了模型结构并提升了生成效率。
cfg 的优势：
- 更简单的实现：无需额外的分类器模型。
- 更高的灵活性：可以动态调整引导强度，适应不同的生成需求。
- 更好的多样性：避免了分类器偏差，生成的图像更加多样。

cfg 的工作原理：
cfg 的核心思想是通过在同一模型中同时训练有条件（conditional）和无条件（unconditional）的生成路径。
在推理阶段，通过插值（interpolation）这两条路径的输出，实现对生成过程的引导。
数学公式：
```
x_guided = x_uncond + s * (x_cond - x_uncond)
```
其中，x_uncond是无条件生成的图像，x_cond是有条件生成的图像，s是引导强度系数。
算法流程：
1. 输入文本描述，生成有条件和无条件的噪声预测。
2. 根据引导强度系数，插值得到最终的噪声预测。
3. 使用插值后的噪声预测进行去噪生成。

Python 代码示例：

import torch
import torch.nn as nn

class CFGModel(nn.Module):
    def __init__(self, model):
        super().__init__()
        self.model = model

    def forward(self, x, t, cond=None, cfg_scale=7.5):
        # Unconditional path
        x_uncond = self.model(x, t, cond=None)
        if cond is None:
            return x_uncond

        # Conditional path
        x_cond = self.model(x, t, cond=cond)

        # CFG interpolation
        x_cfg = x_uncond + cfg_scale * (x_cond - x_uncond)
        return x_cfg