深度学习中的正则化实战：从欠拟合到过拟合的6大解决方案解析

1次阅读

没有评论

共计 2209 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习中，欠拟合（Underfitting）和过拟合（Overfitting）是两个常见的问题。理解它们的区别是解决这些问题的第一步。

欠拟合 是指模型在训练集和验证集上表现都不佳，通常是因为模型过于简单，无法捕捉数据中的复杂模式。

过拟合 则是指模型在训练集上表现很好，但在验证集上表现不佳，通常是因为模型过于复杂，记住了训练数据的噪声而非真正的模式。

我们可以通过训练 / 验证损失曲线来直观地识别这两种问题：

欠拟合：训练损失和验证损失都很高，且两者差距不大。
过拟合：训练损失很低，但验证损失较高，两者差距明显。

L1 和 L2 正则化通过在损失函数中添加一个惩罚项来约束模型权重的大小。

L1 正则化 的数学表达式为：
$$\text{Loss} = \text{Original Loss} + \lambda \sum_{i=1}^{n} |w_i|$$
L1 正则化倾向于产生稀疏权重矩阵，适合特征选择。
L2 正则化 的数学表达式为：
$$\text{Loss} = \text{Original Loss} + \lambda \sum_{i=1}^{n} w_i^2$$
L2 正则化倾向于让权重值均匀地变小，适合防止过拟合。

Dropout 是一种在训练过程中随机“关闭”一部分神经元的正则化技术。它的核心思想是通过引入随机性来防止神经元之间的过度依赖。

训练阶段：每个神经元以概率 $p$ 被保留，以 $1-p$ 被丢弃。
推理阶段：所有神经元都保留，但权重乘以 $p$ 以保持期望输出一致。

数据增强通过对训练数据进行随机变换（如旋转、翻转、缩放等）来增加数据的多样性，从而提升模型的泛化能力。

早停法通过监控验证集上的表现来决定何时停止训练。当验证损失在连续几个 epoch 内不再下降时，停止训练。

批归一化通过对每一层的输入进行归一化处理，使得输入分布更加稳定，从而加速训练并提高模型的泛化能力。

模型集成通过组合多个模型的预测结果来降低方差。常见的集成方法包括 Bagging（如随机森林）和 Boosting（如 AdaBoost）。

import torch
import torch.nn as nn

model = nn.Sequential(nn.Linear(784, 256),
    nn.ReLU(),
    nn.Linear(256, 10)
)

# 使用 L2 正则化（weight_decay 参数）optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=0.01)

model = nn.Sequential(nn.Linear(784, 256),
    nn.ReLU(),
    nn.Dropout(p=0.5),  # 训练时随机失活 50% 的神经元
    nn.Linear(256, 10)
)

# 推理时需要手动关闭 Dropout
model.eval()

class EarlyStopping:
    def __init__(self, patience=5):
        self.patience = patience
        self.counter = 0
        self.best_loss = float('inf')

    def __call__(self, val_loss):
        if val_loss < self.best_loss:
            self.best_loss = val_loss
            self.counter = 0
        else:
            self.counter += 1
            if self.counter >= self.patience:
                return True  # 停止训练
        return False