神经网络调优实战：如何通过层数设计与正则化平衡过拟合与欠拟合

1次阅读

没有评论

共计 1698 个字符，预计需要花费 5 分钟才能阅读完成。

在训练神经网络时，我们常常面临一个两难选择：

欠拟合（高偏差）：当网络层数过少时，模型无法捕捉数据中的复杂模式。数学表现为训练集和验证集的 Loss 都较高，且准确率停滞不前。业务影响是模型根本无法满足基本需求。
过拟合（高方差）：当网络层数过多时，模型会记住训练数据的噪声和细节。数学表现为训练 Loss 持续下降但验证 Loss 开始上升，两者差距越来越大。业务中会导致线上效果远差于离线测试。

（示例图：3 层网络欠拟合 / 5 层网络理想 /10 层网络过拟合的典型 Loss 曲线）

宽度优先原则：当不确定深度时，优先增加每层神经元数量（如从 256→512），这比直接堆叠层更安全
残差连接：超过 8 层时强制使用 ResNet 结构，避免梯度消失

数学原理：
$$
\mathcal{L}{total} = \mathcal{L} + \lambda_1||w||_1 + \lambda_2||w||_2^2
$$

L1 正则（λ₁）更适合特征选择
L2 正则（λ₂）默认设为 0.01-0.001 范围

# PyTorch 实现示例
dropout = nn.Dropout(p=0.5)  # 推荐隐藏层用 0.5，输入层用 0.2

注意：测试阶段需用 model.eval() 关闭 Dropout

当验证 Loss 连续 3 个 epoch 不下降时触发
保存最佳模型需配合torch.save(model.state_dict(), PATH)

import torch
import torch.nn as nn

class DynamicNet(nn.Module):
    def __init__(self, input_dim=784, num_layers=3, hidden_dim=256):
        super().__init__()
        layers = []
        # 输入层
        layers.append(nn.Linear(input_dim, hidden_dim))
        layers.append(nn.BatchNorm1d(hidden_dim))  # 稳定深层训练
        layers.append(nn.ReLU())
        layers.append(nn.Dropout(0.2))

        # 动态添加隐藏层
        for _ in range(num_layers-2):
            layers.append(nn.Linear(hidden_dim, hidden_dim))
            layers.append(nn.BatchNorm1d(hidden_dim))
            layers.append(nn.ReLU())
            layers.append(nn.Dropout(0.5))

        # 输出层
        layers.append(nn.Linear(hidden_dim, 10))
        self.net = nn.Sequential(*layers)

    def forward(self, x):
        return self.net(x)

# L2 正则化通过优化器实现
model = DynamicNet(num_layers=5)
optimizer = torch.optim.Adam(model.parameters(), 
                            lr=0.001, 
                            weight_decay=1e-4)  # 这就是 λ₂