3D卷积网络(3DCNN)在视频分析中的实战优化：从原理到高效实现

1次阅读

没有评论

共计 1877 个字符，预计需要花费 5 分钟才能阅读完成。

传统的 2D 卷积操作可以表示为：

$$Y_{i,j} = \sum_{m=0}^{k_h-1}\sum_{n=0}^{k_w-1} W_{m,n} \cdot X_{i+m,j+n}$$

而 3D 卷积增加了时间维度：

$$Y_{i,j,t} = \sum_{m=0}^{k_h-1}\sum_{n=0}^{k_w-1}\sum_{p=0}^{k_t-1} W_{m,n,p} \cdot X_{i+m,j+n,t+p}$$

关键区别在于：

2D 卷积只在空间维度（高度、宽度）滑动
3D 卷积额外在时间维度滑动，能捕捉帧间运动特征
视频中相邻帧之间存在强时序关联，2D 卷积会丢失这部分信息

标准 3D 卷积的 FLOPs 计算公式：

$$FLOPs = T \times H \times W \times C_{in} \times C_{out} \times k_t \times k_h \times k_w$$

以输入尺寸 (16,224,224,64) 的 3D 卷积为例：

16 帧×224 高×224 宽×64 输入通道×128 输出通道×3×3×3 核 ≈ 142G FLOPs

显存占用主要来自：

模型参数：$C_{in} \times C_{out} \times k_t \times k_h \times k_w$
特征图缓存：$T \times H \times W \times C$

视频数据 I / O 带宽要求：

$$Bandwidth = FPS \times H \times W \times 3 \times 8bit$$

1080p 视频 @30FPS 需要约 1.5Gbps 带宽

class Separable3DConv(nn.Module):
    def __init__(self, in_ch, out_ch, kernel_size):
        super().__init__()
        # 深度卷积（逐通道）self.depthwise = nn.Conv3d(in_ch, in_ch, kernel_size,
                                  groups=in_ch, padding=1)
        # 逐点卷积（1x1x1）self.pointwise = nn.Conv3d(in_ch, out_ch, 1)

    def forward(self, x):
        return self.pointwise(self.depthwise(x))

计算量降低比例：

$$\frac{k_t \times k_h \times k_w + 1}{k_t \times k_h \times k_w} \approx \frac{1}{C_{out}}$$

将 3D 卷积分解为空间 + 时间两部分：

$$W_{t,h,w} = W_{h,w}^{space} \circ W_{t}^{time}$$

数学证明分解后的等效感受野：

$$\mathcal{R}{eff} = \mathcal{R}$$} \cup \mathcal{R}_{time

def dynamic_sampling(video, target_frames):
    total_frames = video.shape[1]
    if total_frames <= target_frames:
        return video

    # 基于运动能量选择关键帧
    diff = torch.abs(video[:,1:] - video[:,:-1])
    energy = diff.mean(dim=(0,2,3))
    indices = energy.topk(target_frames).indices

    return video[:, indices]