2025扩散模型综述：从基础原理到实战入门指南

1次阅读

共计 2302 个字符，预计需要花费 6 分钟才能阅读完成。

传统生成模型如 GAN 虽然能生成高质量样本，但存在几个痛点：

训练不稳定：生成器和判别器的对抗训练需要精细平衡，容易出现模式坍塌
评估困难：GAN 的损失函数不能直接反映生成质量
多样性不足：容易陷入口袋效应，生成样本缺乏多样性

扩散模型通过逐步去噪的确定性过程，解决了这些问题。2025 年的技术演进使其在以下方面更具优势：

训练稳定性显著提升
模式覆盖率更完整
数学理论更完备
计算效率优化明显

模型类型	FID(越低越好)	单步推理时延	显存占用	主要应用场景
DDPM	12.3	350ms	6GB	基础研究
DDIM	11.8	210ms	5GB	快速推理
Latent Diffusion	9.2	180ms	4GB	生产环境部署

定义前向扩散为马尔可夫链：

$$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t\mathbf{I})$$

其中 $\beta_t$ 是噪声调度参数，控制每步添加的噪声量。2025 年主流采用 cosine 调度：

$$\beta_t = \text{clip}(0.5\cdot(1-\cos(\frac{t}{T}\pi)), 0, 0.999)$$

学习参数化的逆向过程：

$$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t,t), \Sigma_\theta(x_t,t))$$

通过最小化 KL 散度 优化目标：

$$\mathcal{L} = \mathbb{E}{t,x_0,\epsilon}[|\epsilon – \epsilon\theta(x_t,t)|^2]$$

class CrossAttention(nn.Module):
    def __init__(self, dim, heads=8):
        super().__init__()
        self.scale = dim ** -0.5
        self.heads = heads
        # 初始化 QKV 投影矩阵
        self.to_qkv = nn.Linear(dim, dim * 3)  
        self.to_out = nn.Linear(dim, dim)

    def forward(self, x, context=None):
        context = x if context is None else context
        # 计算多头注意力
        qkv = self.to_qkv(context).chunk(3, dim=-1)
        q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> b h n d', h=self.heads), qkv)
        dots = torch.matmul(q, k.transpose(-1, -2)) * self.scale
        attn = dots.softmax(dim=-1)
        out = torch.matmul(attn, v)
        out = rearrange(out, 'b h n d -> b n (h d)')
        return self.to_out(out)

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    noise_pred = model(noisy_img, timesteps)
    loss = F.mse_loss(noise_pred, true_noise)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

梯度检查点：在模型 forward 过程中选择性保存中间结果
```
model.enable_gradient_checkpointing()
```
激活值压缩：使用 8 -bit Adam 优化器
分片加载：大数据集采用流式加载

方案一：添加梯度裁剪

torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

方案二：使用更稳定的损失函数
```
loss = F.huber_loss(pred, target)
```

方案三：动态调整 scaler

scaler = GradScaler(init_scale=2**10, growth_interval=200)

from diffusers import StableDiffusionPipeline
from safety_checker import SafetyChecker

pipe = StableDiffusionPipeline.from_pretrained(...)
safety_checker = SafetyChecker.from_pretrained(...)

def generate_safe_image(prompt):
    image = pipe(prompt).images[0]
    if safety_checker(image):
        return apply_blur_filter(image)
    return image

对于想深入掌握扩散模型的开发者，推荐按以下路径学习：