cfg扩散模型入门指南：从基础概念到实战应用

1次阅读

共计 2358 个字符，预计需要花费 6 分钟才能阅读完成。

第一次听说扩散模型时，我脑袋里浮现的是咖啡在热水里慢慢散开的画面。后来才知道，这个技术在 AI 生成图片领域掀起了一场革命。而 CFG（Classifier-Free Guidance）就像是给这场革命装上了导航系统 – 它不需要额外训练分类器，就能让模型按照我们想要的方向生成图像。

传统扩散模型就像个自由发挥的画家，而 CFG 扩散模型则像接了明确订单的画师。2015 年首次提出的扩散模型，经过几年发展，在 2021 年通过 CFG 技术实现了质的飞跃。

想象两个画家在工作：

传统扩散模型画家：
随意发挥创作
需要额外雇个艺术指导（分类器）来调整作品
指导过程计算成本高
CFG 扩散模型画家：
内建了创作指南
不需要额外指导
可以根据需求随时调整创作方向

技术上说，CFG 的关键创新在于训练时随机丢弃条件信息（通常有 10-20% 的概率），这样模型就同时学会了有条件和无条件生成。

下面我们用一个简化版的 CFG 扩散模型实现来理解其核心：

import torch
import torch.nn as nn
from torch.utils.data import Dataset

# 1. 数据预处理
class ImageDataset(Dataset):
    def __init__(self, image_tensors, labels):
        """
        image_tensors: 标准化到 [-1,1] 的图像张量
        labels: 对应的条件标签
        """
        self.images = image_tensors
        self.labels = labels

    def __len__(self):
        return len(self.images)

    def __getitem__(self, idx):
        return self.images[idx], self.labels[idx]

# 2. 模型定义
class CFGDenoiser(nn.Module):
    def __init__(self, image_size, num_classes):
        super().__init__()
        # 这里简化了 UNet 结构，实际使用应根据需求调整
        self.main = nn.Sequential(nn.Conv2d(3, 64, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(64, 64, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(64, 3, 3, padding=1)
        )
        # 条件嵌入层
        self.label_emb = nn.Embedding(num_classes, image_size*image_size)

    def forward(self, x, t, labels=None):
        """
        x: 噪声图像
        t: 时间步
        labels: 条件标签（训练时可随机置为 None）"""
        # 基础特征提取
        h = self.main(x)

        # CFG 核心：条件引导
        if labels is not None:
            # 获取条件嵌入
            cond = self.label_emb(labels).view(x.shape[0], 1, x.shape[2], x.shape[3])
            # 无条件预测
            uncond = self.main(x)
            # 混合预测结果
            h = uncond + 5.0*(h - uncond)  # guidance_scale=5.0

        return h

# 3. 训练循环（简化版）def train_loop(model, dataloader, optimizer, num_epochs):
    model.train()
    for epoch in range(num_epochs):
        for batch_idx, (images, labels) in enumerate(dataloader):
            # 随机丢弃部分条件（CFG 关键）if torch.rand(1) < 0.1:  # 10% 概率无条件
                labels = None

            # 添加噪声（扩散过程）noise = torch.randn_like(images)
            noisy_images = add_noise(images, noise)

            # 前向传播
            pred_noise = model(noisy_images, labels)

            # 计算损失
            loss = nn.MSELoss()(pred_noise, noise)

            # 反向传播
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

guidance_scale参数是调节条件引导强度的关键。实践中发现：