视频生成技术入门：从chunk自回归到扩散模型的实战解析

1次阅读

共计 2014 个字符，预计需要花费 6 分钟才能阅读完成。

视频生成是计算机视觉领域的重要研究方向，旨在通过算法自动生成连续、逼真的视频序列。与图像生成相比，视频生成面临更多挑战，如时序一致性、长距离依赖建模和高计算成本等。本文将重点介绍两种主流的视频生成方法：chunk 自回归模型和扩散模型。

Chunk 自回归模型是一种基于 Transformer 架构的视频生成方法，它将视频分成若干个 chunk（片段），然后自回归地预测每个 chunk。这种方法的优势在于可以并行处理多个 chunk，提高生成效率。

分块处理：将视频序列划分为固定大小的 chunk，每个 chunk 包含若干帧
自回归预测：按照时序顺序，逐个预测每个 chunk 的内容
注意力机制：通过自注意力机制建模 chunk 内部和 chunk 之间的时空关系

import torch
import torch.nn as nn

class ChunkAutoregressiveModel(nn.Module):
    def __init__(self, chunk_size=8, hidden_dim=512):
        super().__init__()
        self.chunk_size = chunk_size
        self.encoder = nn.LSTM(input_size=3*64*64, hidden_size=hidden_dim)
        self.decoder = nn.LSTM(input_size=hidden_dim, hidden_size=3*64*64)

    def forward(self, x):
        # x: (batch, frames, C, H, W)
        batch_size = x.size(0)
        # 将视频分块
        chunks = x.unfold(1, self.chunk_size, self.chunk_size)
        num_chunks = chunks.size(1)

        # 初始化隐藏状态
        h_enc = torch.zeros(1, batch_size, self.hidden_dim)
        c_enc = torch.zeros(1, batch_size, self.hidden_dim)

        outputs = []
        for i in range(num_chunks):
            # 处理当前 chunk
            chunk = chunks[:,i].reshape(batch_size, -1)
            _, (h_enc, c_enc) = self.encoder(chunk.unsqueeze(0), (h_enc, c_enc))
            output, _ = self.decoder(h_enc, (h_enc, c_enc))
            outputs.append(output.squeeze(0))

        # 合并所有 chunk 的输出
        return torch.stack(outputs, dim=1)

扩散模型通过逐步去噪的过程生成视频，相比自回归方法，它能更好地保持长时序一致性。视频扩散模型通常基于潜在扩散模型 (LDM) 架构，先在低维潜在空间中进行扩散，再解码到像素空间。

前向过程：逐步向视频数据添加高斯噪声
逆向过程：学习逐步去噪的视频生成过程
潜在空间：在低维潜在空间中进行扩散，降低计算成本

def diffusion_sampling(model, noise, timesteps):
    """
    model: 训练好的扩散模型
    noise: 初始噪声 (batch, C, T, H, W)
    timesteps: 扩散步数
    """
    x = noise
    for t in reversed(range(timesteps)):
        # 预测噪声
        predicted_noise = model(x, t)
        # 去噪步骤
        alpha_t = get_alpha(t)  # 获取当前步长的 alpha 值
        x = (x - (1-alpha_t)/torch.sqrt(1-alpha_t) * predicted_noise) / torch.sqrt(alpha_t)
    return x