3D DenseNet121预训练权重实战指南：从加载到迁移学习的完整流程

1次阅读

共计 1464 个字符，预计需要花费 4 分钟才能阅读完成。

3D 视觉任务在医学影像分析、自动驾驶等领域具有广泛应用。与 2D 图像不同，3D 数据（如 CT、MRI）包含空间维度信息，这对模型架构提出了更高要求。预训练模型通过大规模数据学习通用特征，能显著减少目标任务的训练成本。

3D DenseNet121 优势：
密集连接结构缓解梯度消失
参数效率高于普通 3D CNN
预训练权重提供良好的特征提取基础
对比其他架构：
3D ResNet：残差连接简单但特征复用率低
3D VGG：参数量大且难以训练
Transformer：计算成本高且需大量数据

import torch
from torchvision.models.video import r3d_18

# 加载官方预训练权重
model = r3d_18(pretrained=True)

# 替换第一层卷积适配单通道医学影像
model.stem[0] = torch.nn.Conv3d(1, 64, kernel_size=(3, 7, 7), stride=(1, 2, 2), padding=(1, 3, 3), bias=False)

体素值归一化：

# CT 值截断并归一化到[0,1]
data = np.clip(data, -1000, 1000)
data = (data + 1000) / 2000

空间归一化：

# 使用 SimpleITK 重采样到统一分辨率
resampler = sitk.ResampleImageFilter()
resampler.SetOutputSpacing([1.0, 1.0, 1.0])

分层学习率：

optimizer = torch.optim.Adam([{'params': model.parameters()[:-4], 'lr': 1e-5},  # 浅层低学习率
    {'params': model.parameters()[-4:], 'lr': 1e-3}   # 分类头高学习率
])

# 数据增强 Pipeline
transform = Compose([RandomRotate3D(degrees=15, axis=(1,2)),
    RandomFlip3D(p=0.5),
    GaussianNoise3D(std=0.01),
    ToTensor()])

# 自定义分类头
class DenseNet3DWithHead(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.backbone = r3d_18(pretrained=True)
        self.head = nn.Sequential(nn.AdaptiveAvgPool3d(1),
            nn.Flatten(),
            nn.Linear(512, num_classes)
        )