3D图像分割架构入门指南：从基础概念到实战实现

1次阅读

共计 1789 个字符，预计需要花费 5 分钟才能阅读完成。

3D 图像分割是将三维体数据（如 CT、MRI）中的不同结构或区域精确划分的技术，广泛应用于医疗影像分析（肿瘤定位）、自动驾驶（场景理解）等领域。然而初学者常遇到以下问题：

计算资源消耗大：3D 卷积的显存占用随分辨率立方级增长
标注成本高：医学影像需专业医师逐层标注，数据集稀缺
小目标分割困难：如肺部结节等微小结构易被忽略

3D U-Net
优势：对称编码器 - 解码器结构保留空间信息，跳跃连接缓解梯度消失
局限：基础版参数量较大（约 19M）
适用场景：中等规模医疗数据集（如 BraTS）
V-Net
优势：引入残差连接，擅长前列腺等不规则器官分割
局限：需较大 batch size（≥4）稳定训练
适用场景：高对比度器官分割
nnUNet
优势：自动超参优化，开箱即用
局限：定制化灵活性低
适用场景：快速原型开发

编码器路径：
4 级下采样，每级包含两个 3×3×3 卷积 +ReLU
最大池化（2×2×2）实现空间降维
解码器路径：
转置卷积（stride=2）进行上采样
与编码器对应层的特征图通过跳跃连接融合
瓶颈层：
位于网络最深处，使用 1×1×1 卷积输出分割结果

import torch
from torch.utils.data import Dataset

class Medical3DDataset(Dataset):
    def __init__(self, image_paths, mask_paths):
        # 加载 NIfTI 格式的 3D 影像
        self.images = [nib.load(p).get_fdata() for p in image_paths]
        self.masks = [nib.load(p).get_fdata() for p in mask_paths]

    def __getitem__(self, idx):
        # 归一化到 [0,1] 并增加通道维度
        image = torch.FloatTensor(self.images[idx][None, ...] / 255.)
        mask = torch.LongTensor(self.masks[idx])
        return image, mask

class DoubleConv(nn.Module):
    """(conv3D -> BN -> ReLU) * 2"""
    def __init__(self, in_channels, out_channels):
        super().__init__()
        self.double_conv = nn.Sequential(nn.Conv3d(in_channels, out_channels, kernel_size=3, padding=1),
            nn.BatchNorm3d(out_channels),
            nn.ReLU(inplace=True),
            nn.Conv3d(out_channels, out_channels, kernel_size=3, padding=1),
            nn.BatchNorm3d(out_channels),
            nn.ReLU(inplace=True)
        )

    def forward(self, x):
        return self.double_conv(x)

混合精度训练：

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()
with autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()