共计 1407 个字符，预计需要花费 4 分钟才能阅读完成。
1. 背景与痛点
扩散模型在生成高质量样本方面表现出色，但传统方法存在两个主要问题：
-
计算效率低下：高质量样本生成往往需要数百甚至上千步的迭代计算，导致推理速度慢、资源消耗大。
-
分类器引导的局限性：传统的 Classifier Guidance 方法需要额外训练一个分类器，这带来了以下问题：
- 增加了训练复杂度
- 分类器与生成模型的训练目标可能存在冲突
- 在低数据量情况下容易过拟合
2. 技术解析
2.1 CFG 核心思想
Classifier-Free Guidance (CFG) 的核心创新在于：
- 使用单一模型同时学习条件分布 p(x|c) 和非条件分布 p(x)
- 通过 dropout 机制随机丢弃条件信息(c)，实现联合训练
- 推理时通过插值实现引导效果：
$$\hat{\epsilon}\theta(x_t,c) = \epsilon\theta(x_t) + \omega(\epsilon_\theta(x_t,c) – \epsilon_\theta(x_t))$$
其中 ω 控制引导强度
2.2 计算复杂度对比
| 方法 | 额外参数量 | 推理计算量 |
|---|---|---|
| Classifier Guidance | 分类器参数量 | 分类器前向计算 |
| CFG | 0 | 仅多一次无条件预测 |
3. 代码实现
import torch
import torch.nn as nn
class CFGDiffusion(nn.Module):
def __init__(self, model, p_drop=0.1):
super().__init__()
self.model = model
self.p_drop = p_drop # 条件丢弃概率
def forward(self, x, t, c=None):
# 训练时随机丢弃条件
if c is not None and torch.rand(1) < self.p_drop:
c = None
return self.model(x, t, c)
def guided_pred(self, x, t, c, w=7.5):
# 推理时应用 CFG
cond_pred = self(x, t, c)
uncond_pred = self(x, t, None)
return uncond_pred + w * (cond_pred - uncond_pred)关键实现要点：
- 通过简单的 dropout 实现条件 / 非条件联合训练
- 推理时 ω 值通常设为 5 -10 之间
- 可使用梯度检查点技术节省显存
4. 生产实践
4.1 ω 值调优经验
| ω 值 | 样本质量 | 多样性 |
|---|---|---|
| 1-3 | 较低 | 高 |
| 5-8 | 平衡 | 适中 |
| >10 | 高 | 可能下降 |
4.2 多 GPU 训练策略
- 使用
DistributedDataParallel而非DataParallel - 确保所有 GPU 上的条件丢弃保持一致
- 梯度同步频率设置为每步同步
5. 避坑指南
5.1 常见问题
- 模式崩溃：ω 值过大导致
- 训练不稳定：适当降低学习率(推荐 1e- 5 到 1e-4)
- 显存不足：
- 使用梯度累积
- 混合精度训练
5.2 超参数推荐
| 参数 | 推荐范围 |
|---|---|
| batch size | 32-128 |
| learning rate | 1e- 5 到 1e-4 |
| ω 值 | 5-8 |
6. 延伸思考
- 与 CLIP 引导结合：可以先用 CFG 生成初始结果，再用 CLIP 进行 refine
- 在 Latent Diffusion 中的应用：
- 直接在潜在空间应用 CFG
- 需要调整 ω 值的范围(通常更小)
结语
CFG 技术通过巧妙的设计，在几乎不增加计算成本的情况下显著提升了扩散模型的生成质量。在实际应用中，我们发现 ω 值的选择需要根据具体任务进行调整，过强的引导虽然能提高样本质量，但可能牺牲多样性。建议开发者在自己的数据集上进行小规模实验，找到最适合的平衡点。
正文完
