AI视频生成的两种主流路线：Diffusion与GAN的技术选型指南

1次阅读

共计 1650 个字符，预计需要花费 5 分钟才能阅读完成。

视频生成相比图像生成面临两大核心难题：时序一致性和计算复杂度。时序一致性要求相邻帧之间保持内容连贯，避免出现闪烁或突变；计算复杂度则因视频数据量庞大（如 30FPS 的 1 分钟视频包含 1800 帧），对显存和计算资源提出极高要求。传统方法往往通过降低分辨率或缩短生成长度来缓解压力，但这会牺牲视频质量。

DDPM 数学基础 ：
前向过程：逐步添加高斯噪声 $q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t\mathbf{I})$
反向过程：学习去噪函数 $p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t,t), \Sigma_\theta(x_t,t))$
Stable Diffusion 视频扩展 ：
通过 3D 卷积扩展时空注意力机制
关键超参数：噪声调度器采用 cosine schedule，CFG scale 设为 7.5 平衡多样性与质量

PyTorch 核心实现 ：

# 噪声调度器实现（带 cosine 衰减）def cosine_beta_schedule(timesteps, s=0.008):
    steps = timesteps + 1
    x = torch.linspace(0, timesteps, steps)
    alphas_cumprod = torch.cos(((x / timesteps) + s) / (1 + s) * math.pi * 0.5) ** 2
    alphas_cumprod = alphas_cumprod / alphas_cumprod[0]
    betas = 1 - (alphas_cumprod[1:] / alphas_cumprod[:-1])
    return torch.clip(betas, 0, 0.999)

TecoGAN 架构 ：
时空判别器采用 3D 卷积核（如 5x5x5）
运动补偿模块提升帧间一致性
对抗训练技巧 ：
使用 Wasserstein GAN 缓解模式坍塌
R1 正则化防止判别器过强

时空卷积实现 ：

class SpatioTemporalDiscriminator(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv3d_1 = nn.Conv3d(3, 64, kernel_size=(3,5,5), stride=(1,2,2))
        self.conv3d_2 = nn.Conv3d(64, 128, kernel_size=(3,5,5), stride=(1,2,2))

    def forward(self, x):  # x: [B,C,T,H,W]
        x = F.leaky_relu(self.conv3d_1(x), 0.2)
        x = F.leaky_relu(self.conv3d_2(x), 0.2)
        return x.flatten(1)