神经网络调优实战：如何平衡层数防止过拟合与欠拟合

1次阅读

没有评论

共计 1963 个字符，预计需要花费 5 分钟才能阅读完成。

在构建神经网络时，层数选择就像走钢丝——太少或太多都会出问题。先看两个典型症状：

欠拟合（Underfitting）：模型太简单（比如只有 1 - 2 个隐藏层），训练集和验证集表现都很差，就像小学生做高考题，根本抓不住数据规律。学习曲线表现为两条线紧贴但准确率低。
过拟合（Overfitting）：模型太复杂（比如堆了 10 层全连接层），训练集准确率飙升但验证集停滞，像死记硬背答案的学生遇到新题就懵。学习曲线会显示训练集线持续上升而验证集线后期下降。

（横轴：训练轮次，纵轴：误差值。理想状态是两条线接近且同步下降）

L2 正则化（权重衰减）：在损失函数里加所有权重平方和的惩罚项，防止某些权重过大。公式虽复杂，但 PyTorch 里只需在优化器里设置 weight_decay 参数。
L1 正则化：加权重绝对值的惩罚项，能直接让部分权重归零，适合特征选择。实际中 L2 更常用，因为对异常值更鲁棒。

训练时每一层随机屏蔽一部分神经元（比如比例设为 0.5），迫使网络不依赖特定通路。注意：

测试时要 关闭 Dropout并按比例缩放权重（PyTorch 的 nn.Dropout 已自动处理）
通常放在全连接层后，CNN 的卷积层后效果有限

监控验证集 loss，当连续 N 轮（如 10 轮）不下降时停止训练。关键点：

保存验证集最优的模型副本
耐心参数 patience 太小会过早停止，太大又浪费资源

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 定义带 Dropout 和 L2 正则的 CNN
class BalancedCNN(nn.Module):
    def __init__(self, dropout_rate=0.3):
        super().__init__()
        self.conv_layers = nn.Sequential(nn.Conv2d(3, 32, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 64, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(2),
        )
        self.fc_layers = nn.Sequential(nn.Linear(64 * 8 * 8, 256),
            nn.ReLU(),
            nn.Dropout(dropout_rate),  # 关键 Dropout 层！nn.Linear(256, 10)
        )

    def forward(self, x):
        x = self.conv_layers(x)
        x = x.view(x.size(0), -1)
        return self.fc_layers(x)

# 训练设置
model = BalancedCNN()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-4)  # L2 正则在这里！# 训练循环（伪代码）train_losses, val_losses = [], []
for epoch in range(100):
    # ... 训练步骤...

    # Early Stopping 检查
    if len(val_losses) > 10 and val_losses[-1] > min(val_losses[-10:]):
        print(f"Early stopping at epoch {epoch}")
        break

# 绘制曲线
plt.plot(train_losses, label='Train')
plt.plot(val_losses, label='Validation')
plt.legend()