3D卷积-LSTM混合网络入门指南：从理论到PyTorch实战

1次阅读

共计 2666 个字符，预计需要花费 7 分钟才能阅读完成。

想象我们要让 AI 理解监控视频中的异常行为：一个人突然从站立变为跌倒。这需要同时分析每一帧的图像特征（空间维度）和动作变化规律（时间维度）。传统 2D 卷积神经网络 (CNN) 只能处理单帧图像，而普通循环神经网络 (RNN) 又难以捕捉复杂的空间特征——这就是时空序列数据的建模难点。

另一个典型场景是气象预测。要预测未来 24 小时的降雨量，模型需要同时处理卫星云图的空间分布（3D 数据立方体）和时间演变规律（连续多帧）。这种时空耦合特性使得单一架构难以胜任。

优势：通过立方体卷积核直接提取时空特征（如Conv3d(kernel_size=(3,3,3)) 能同时捕捉相邻帧和相邻像素的关系）
劣势：固定大小的感受野难以建模长时依赖，且参数量随视频长度线性增长

擅长：天然适合处理时序数据，通过门控机制学习长期依赖
短板：将空间数据展平为向量会丢失二维结构信息，且计算复杂度高

（图示：空间特征由 3D CNN 提取后，通过时间维度展开输入 LSTM）

混合架构的核心思想是：
1. 3D CNN 作为特征提取器，处理原始视频立方体
2. LSTM 作为时序建模器，分析特征序列的动态变化
3. 两种架构通过特定方式融合（后文详细展开）

import torch
import torch.nn as nn

class Conv3DLSTM(nn.Module):
    def __init__(self, input_channels=3, num_classes=10):
        super().__init__()
        # 3D 卷积部分配置要点
        self.conv_layers = nn.Sequential(# kernel_size 通常取 (3,3,3) 到(5,5,5)
            # stride 时间维度建议小于空间维度（如(1,2,2)）nn.Conv3d(input_channels, 64, kernel_size=(3,5,5), stride=(1,2,2)),
            nn.BatchNorm3d(64),
            nn.ReLU(),
            nn.MaxPool3d(kernel_size=(1,2,2), stride=(1,2,2))
        )

        # LSTM 部分配置
        self.lstm = nn.LSTM(
            input_size=64*7*7,  # 根据卷积输出尺寸调整
            hidden_size=256,
            num_layers=2,
            batch_first=True
        )
        self.fc = nn.Linear(256, num_classes)

# 在输入层直接合并时空维度
input_4d = torch.randn(2, 3, 16, 112, 112)  # (batch, channel, time, height, width)
conv_out = self.conv_layers(input_4d)  # 输出形状示例: (2, 64, 16, 7, 7)

# 合并空间维度
batch, channels, time, h, w = conv_out.shape
conv_flat = conv_out.reshape(batch, time, -1)  # (2, 16, 3136)

# 输入 LSTM
lstm_out, (h_n, c_n) = self.lstm(conv_flat)  # h_n 保存最终隐藏状态

# 分别处理时空特征后合并
spatial_feat = self.cnn_2d(frames)  # 单独处理每帧
temporal_feat = self.lstm(sequence)  # 单独处理时序

# 在全连接层前拼接
combined = torch.cat([spatial_feat, temporal_feat], dim=1)

# 3D CNN 提取初级时空特征
low_level_feat = self.conv3d_block1(input_4d)

# 中间层特征分流
spatial_path = self.cnn_2d(low_level_feat.mean(dim=2))  # 沿时间维度平均
temporal_path = self.lstm(low_level_feat.flatten(3))

# 多级特征融合
final_feat = spatial_path + temporal_path[:, -1]  # 取 LSTM 最后时间步

计算显存占用的经验公式：

显存(MB) ≈ 模型参数量 × 4 + 批大小 × (输入数据体积 + 中间激活值) × 4

实际示例：
– 输入尺寸(2,3,16,112,112)
– 模型参数量 500 万
– 显存需求 ≈ 500×4 + 2×(3×16×112×112 + …)×4 ≈ 2.5GB

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

with autocast():
    output = model(inputs)
    loss = criterion(output, labels)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

当视频过长时（如 >100 帧），可采用滑动窗口分块：
1. 确定窗口大小（如 16 帧）和重叠率（如 25%）
2. 预处理时生成重叠片段
3. 预测时对窗口结果加权平均