扩散模型中cfg(classifier-free guidance)的调优实践：如何平衡语义控制与图像质量

1次阅读

共计 1344 个字符，预计需要花费 4 分钟才能阅读完成。

Classifier-Free Guidance（CFG）是扩散模型中用于平衡条件生成与无条件生成的关键参数。其核心思想是通过调整条件生成与无条件生成概率的权重，来控制生成图像的语义一致性与自然度。具体来说，CFG 通过以下公式实现这一平衡：

\epsilon_{cfg} = \epsilon_{uncond} + cfg \cdot (\epsilon_{cond} - \epsilon_{uncond})

其中，ε_uncond 表示无条件生成的噪声预测，ε_cond 表示条件生成的噪声预测，cfg 则是调节两者权重的参数。

低 CFG 值（1-5）：生成图像更自然，但语义一致性较差。适合艺术创作等对自然度要求较高的场景。
中等 CFG 值（5-12）：平衡语义一致性与图像质量，是大多数任务的推荐范围。
高 CFG 值（12-20）：语义一致性增强，但可能导致图像过饱和或细节丢失。适合需要精确控制语义的场景。

from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
cfg_values = [3, 7, 12, 15]  # 测试不同 CFG 值

for cfg in cfg_values:
    image = pipe(prompt, guidance_scale=cfg).images[0]
    image.save(f"cfg_{cfg}.png")

# 动态调整 CFG 值
def dynamic_cfg_adjustment(base_cfg, similarity_threshold=0.8):
    # 计算生成图像与文本的相似度
    similarity = calculate_similarity(prompt, generated_image)

    if similarity < similarity_threshold:
        return min(base_cfg * 1.5, 20)  # 增加 CFG 值
    else:
        return max(base_cfg * 0.8, 1)   # 降低 CFG 值