3D ResNet18 三维卷积神经网络实战：医学影像分析中的性能优化与避坑指南

1次阅读

共计 2487 个字符，预计需要花费 7 分钟才能阅读完成。

在 CT、MRI 等医学影像分析中，2D 卷积神经网络（CNN）存在明显缺陷：

切片间信息丢失：将 3D 体数据拆分为独立 2D 切片处理，忽略了解剖结构的空间连续性
伪影误判风险：肿瘤等病灶可能在相邻切片呈现不同形态特征，2D 模型易产生假阳性
手工特征依赖 ：传统方法需要人工设计多平面重建(MPR) 策略，流程复杂

维度	2D ResNet18	3D ResNet18
卷积核形状	[C,3,3]	[C,3,3,3]
参数量	11.2M	33.7M (约 3 倍)
计算量(224^3)	3.2 GFLOPs	35.8 GFLOPs
特征提取能力	平面局部特征	空间上下文特征

class MedicalDataset(Dataset):
    def __init__(self, paths, spatial_size=(128,128,64)):
        self.spatial_size = spatial_size

    def __getitem__(self, idx):
        # 加载 NIfTI 格式数据
        volume = nib.load(self.paths[idx]).get_fdata()

        # 三分量归一化 (各模态独立处理)
        volume = (volume - volume.mean()) / (volume.std() + 1e-8)

        # 随机裁剪数据增强
        crop_pos = [random.randint(0, s - t) 
                   for s, t in zip(volume.shape, self.spatial_size)]
        volume = volume[crop_pos[0]:crop_pos[0]+self.spatial_size[0],
            crop_pos[1]:crop_pos[1]+self.spatial_size[1],
            crop_pos[2]:crop_pos[2]+self.spatial_size[2]
        ]
        return torch.FloatTensor(volume).unsqueeze(0)  # 添加通道维度

class BasicBlock3D(nn.Module):
    expansion = 1

    def __init__(self, in_planes, planes, stride=1):
        super().__init__()
        # 注意 kernel_size= 3 时，padding= 1 保持空间尺寸
        self.conv1 = nn.Conv3d(in_planes, planes, 
                              kernel_size=3, stride=stride,
                              padding=1, bias=False)
        self.bn1 = nn.BatchNorm3d(planes)
        self.conv2 = nn.Conv3d(planes, planes,
                              kernel_size=3, stride=1,
                              padding=1, bias=False)

        # 下采样时使用 1x1 卷积匹配维度
        self.shortcut = nn.Sequential()
        if stride != 1 or in_planes != self.expansion*planes:
            self.shortcut = nn.Sequential(
                nn.Conv3d(in_planes, self.expansion*planes,
                         kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm3d(self.expansion*planes)
            )

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(train_loader):
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    loss = loss / accumulation_steps  # 损失标准化
    loss.backward()

    if (i+1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()  # 累计多个 batch 后更新

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

非等向性数据处理
各向同性数据(如 1x1x1mm): 直接使用 trilinear 插值
各向异性数据(如 1x1x5mm): 先用 nearest 插值到等分辨率，再 trilinear
验证集内存泄漏
错误做法：在 eval 时保留 torch.no_grad() 内部的中间特征
正确姿势：使用 with torch.inference_mode(): 上下文
输入尺寸对齐

当尺寸非 16 倍数时，推荐反射填充：

pad_size = [(16 - s % 16) % 16 for s in volume.shape]
volume = F.pad(volume, [0,pad_size[2], 0,pad_size[1], 0,pad_size[0]], 
              mode='reflect')