AlexNet模型过拟合问题分析与调整策略实战

1次阅读

共计 1612 个字符，预计需要花费 5 分钟才能阅读完成。

AlexNet 作为深度学习的里程碑模型，其核心架构包含 5 个卷积层和 3 个全连接层，采用 ReLU 激活函数和局部响应归一化 (LRN)。在 ImageNet 竞赛中，其 top- 5 错误率比传统方法降低了近 10 个百分点，证明了 CNN 在图像识别中的潜力。

但在实际应用中我们发现：

当训练数据不足时（如医疗影像、工业质检场景）
当类别间差异较小时（如细粒度分类）
当迭代次数过多时
模型容易在验证集上表现急剧下降，这是典型的过拟合现象。

训练准确率持续上升但验证准确率停滞
损失函数值出现明显差距（如 train_loss=0.1, val_loss=1.2）
混淆矩阵显示模型对某些类别过度敏感

数据层面
训练样本不足（<1k/ 类）
样本多样性缺失（如拍摄角度单一）
模型层面
参数量过大（AlexNet 全连接层占比约 90%）
网络深度与数据量不匹配
训练策略
学习率设置不当
未使用正则化技术

原理：通过几何变换和颜色扰动增加数据多样性

transform_train = transforms.Compose([transforms.RandomHorizontalFlip(p=0.5),  # 水平翻转
    transforms.ColorJitter(brightness=0.2, contrast=0.2), # 颜色扰动
    transforms.RandomRotation(15),  # 旋转 -15~15 度
    transforms.ToTensor(),])

适用场景 ：小数据集（<10k 样本）效果显著

原理：随机丢弃神经元打破共适应

class AlexNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.classifier = nn.Sequential(nn.Dropout(p=0.6),  # 原论文使用 0.5
            nn.Linear(256*6*6, 4096),
            nn.Dropout(p=0.6),  # 增加丢弃率
        )

参数建议 ：全连接层建议 0.5-0.7，卷积层 0.2-0.3

原理：通过惩罚大权重值降低模型复杂度

optimizer = torch.optim.SGD(model.parameters(), 
    lr=0.01, 
    weight_decay=1e-4  # L2 惩罚系数
)

注意：值过大会导致欠拟合

实现逻辑 ：

监控验证集 loss
当连续 5 个 epoch 未下降时停止

best_loss = float('inf')
patience = 0

for epoch in range(100):
    val_loss = validate()
    if val_loss < best_loss:
        best_loss = val_loss
        patience = 0
    else:
        patience += 1
        if patience >= 5: 
            break

改进方案 ：
– 减少全连接层神经元数量（4096→1024）
– 移除第二个卷积层后的 LRN