深入解析cfg在扩散模型中的作用机制与最佳实践

1次阅读

共计 1907 个字符，预计需要花费 5 分钟才能阅读完成。

扩散模型（Diffusion Models）是近年来兴起的一种生成模型，通过逐步添加和去除噪声来生成数据。它的核心思想是通过一个前向过程（逐步添加噪声）和一个反向过程（逐步去除噪声）来学习数据的分布。

Classifier-Free Guidance（CFG）是一种在扩散模型中引入的条件控制机制，用于引导生成过程朝着特定的方向进行。与传统的 Classifier Guidance 不同，CFG 不需要额外的分类器，而是通过调整模型内部的参数来实现条件控制。

CFG 的核心思想是通过调整条件和非条件生成的权重来影响生成结果。具体来说，CFG 通过以下公式控制生成过程：

epsilon = epsilon_uncond + cfg_scale * (epsilon_cond - epsilon_uncond)

其中，epsilon_uncond是非条件生成的噪声预测，epsilon_cond是条件生成的噪声预测，cfg_scale是 CFG 的权重参数。通过调整cfg_scale，可以控制生成结果的条件强度。

低 cfg_scale（接近 1）：生成结果更接近非条件生成，多样性较高，但可能缺乏条件控制。
高 cfg_scale（大于 1）：生成结果更接近条件生成，控制性强，但可能牺牲多样性。

为了直观展示 CFG 参数的影响，我们进行了以下实验：

实验设置：使用 Stable Diffusion 模型，固定随机种子，生成同一提示词（prompt）下的图像。
参数范围 ：cfg_scale 从 1.0 到 20.0，步长为 2.0。
观察指标：生成图像的多样性、细节质量、与提示词的匹配度。

实验结果如下：

cfg_scale=1.0：图像多样性高，但与提示词的匹配度较低。
cfg_scale=7.0：图像细节丰富，与提示词的匹配度适中。
cfg_scale=20.0：图像过于强调条件控制，细节可能失真。

以下是一个使用 CFG 的 Python 代码示例，基于 Diffusers 库实现：

from diffusers import StableDiffusionPipeline
import torch

# 加载模型
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# 生成图像
prompt = "a realistic photo of a cat sitting on a couch"
negative_prompt = "blurry, low quality"

# 不同 cfg_scale 下的生成
for cfg_scale in [1.0, 7.0, 20.0]:
    image = pipe(
        prompt,
        negative_prompt=negative_prompt,
        guidance_scale=cfg_scale,
        num_inference_steps=50
    ).images[0]
    image.save(f"cat_cfg_{cfg_scale}.png")

代码说明：