3D卷积网络是什么？从原理到实践的新手指南

1次阅读

共计 1907 个字符，预计需要花费 5 分钟才能阅读完成。

3D 卷积网络（3D CNN）是处理 时空数据 的神经网络架构。与 2D 卷积只在图像平面滑动不同，3D 卷积核增加了时间或深度维度（通常为[kernel_depth, kernel_height, kernel_width]），其输出特征图也是三维的。数学表示为：

$$
V_{out}(x,y,z) = \sum_{i} \sum_{j} \sum_{k} W(i,j,k) \cdot V_{in}(x+i, y+j, z+k)
$$

关键差异对比：

特性	2D 卷积	3D 卷积
输入维度	[C, H, W]	[C, D, H, W]
卷积核移动	平面滑动	立方体滑动
输出特征	保留空间关系	保留时空关系

传统 2D 卷积在以下场景存在明显局限：

视频动作识别：2D 卷积逐帧处理会丢失时序关联，无法捕捉 ” 挥手 ” 等动作的连续变化
医学影像分析：CT/MRI 的切片间解剖结构具有三维连续性，2D 处理会破坏空间上下文
气象预测：雷达数据的时间序列需要同时考虑空间扩散和时间演变

import torch.nn as nn

class Simple3DCNN(nn.Module):
    def __init__(self, in_channels=1, num_classes=10):
        super().__init__()
        self.conv1 = nn.Conv3d(in_channels, 64, kernel_size=(3,3,3), padding=1)
        self.pool = nn.MaxPool3d(kernel_size=(2,2,2), stride=2)
        self.conv2 = nn.Conv3d(64, 128, kernel_size=(3,3,3), padding=1)
        self.fc = nn.Linear(128 * 8 * 8 * 8, num_classes)  # 假设输入为(1,16,64,64)

    def forward(self, x):
        # x shape: [batch, channels, depth, height, width]
        x = self.pool(nn.ReLU()(self.conv1(x)))
        x = self.pool(nn.ReLU()(self.conv2(x)))
        x = x.view(x.size(0), -1)
        return self.fc(x)

卷积核滑动示意图（以 3x3x3 核为例）：

时间维度 →
  帧 1: [[●,●,●],  帧 2: [[○,○,○],  帧 3: [[▲,▲,▲],
        [●,●,●],        [○,○,○],        [▲,▲,▲],
        [●,●,●]]        [○,○,○]]        [▲,▲,▲]]

深度可分离卷积：将 3D 卷积拆分为空间卷积 + 时间卷积

class Separable3DConv(nn.Module):
    def __init__(self, in_ch, out_ch):
        super().__init__()
        # 空间卷积 (D,1,1)核
        self.depthwise = nn.Conv3d(in_ch, in_ch, kernel_size=(3,1,1), groups=in_ch)
        # 空间卷积 (1,H,W)核
        self.pointwise = nn.Conv3d(in_ch, out_ch, kernel_size=(1,3,3))

梯度检查点：用计算时间换显存

from torch.utils.checkpoint import checkpoint
x = checkpoint(self.conv_block, x)  # 分段计算梯度

针对小样本 3D 数据：

时空裁剪：随机裁剪立方体区域
时序反转：反转视频帧顺序
弹性变形：对三维网格施加随机形变
通道抖动：对 RGB 或不同模态通道添加噪声

计算复杂度对比（输入尺寸 D×H×W）：

标准 3D 卷积：
$$
O(D \cdot H \cdot W \cdot k_d \cdot k_h \cdot k_w \cdot C_{in} \cdot C_{out})
$$
(2+1)D 卷积（P3D 架构）：
$$
O(D \cdot H \cdot W \cdot (1 \cdot k_h \cdot k_w + k_d \cdot 1 \cdot 1) \cdot C_{in} \cdot C_{out})
$$

推荐轻量架构：