机器学习实战：3种有效防止模型过拟合的技术方案解析

1次阅读

没有评论

共计 2698 个字符，预计需要花费 7 分钟才能阅读完成。

在训练机器学习模型时，我们经常会遇到这样的情况：模型在训练集上表现非常好，准确率高达 98% 甚至更高，但在测试集上却表现不佳，准确率可能骤降到 70% 左右。这种现象就是典型的过拟合(Overfitting)。

过拟合的本质是模型过度记忆了训练数据中的噪声和细节，而未能学习到数据背后的真实规律。这会导致模型在面对新数据时泛化能力很差。

在实际项目中，过拟合的危害包括：

模型无法真正投入生产使用，因为它对新数据的预测不可靠
浪费大量计算资源训练出的模型实际价值很低
可能导致对业务决策的误导

正则化是通过在损失函数中添加惩罚项来防止过拟合的技术。最常见的两种形式是 L1 正则化 (Lasso) 和 L2 正则化(Ridge)。

L2 正则化通过在损失函数中添加权重的平方和作为惩罚项：

# PyTorch 实现带 L2 正则化的线性回归
import torch
import torch.nn as nn

class LinearRegression(nn.Module):
    def __init__(self, input_dim, output_dim):
        super().__init__()
        self.linear = nn.Linear(input_dim, output_dim)

    def forward(self, x):
        return self.linear(x)

# 定义模型和优化器
model = LinearRegression(input_dim=10, output_dim=1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=0.1)  # weight_decay 就是 L2 正则化参数

# 训练循环
for epoch in range(100):
    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, labels)

    # 反向传播和优化
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

在这个例子中，weight_decay=0.1就是 L2 正则化的强度参数。值越大，对模型复杂度的惩罚就越强。

L1 正则化与 L2 不同，它添加的是权重的绝对值和：

会产生稀疏权重矩阵，适合特征选择
对高维数据特别有效
计算上比 L2 稍复杂

Dropout(丢弃法)是神经网络中常用的防止过拟合技术。它的核心思想是在训练过程中随机 ” 丢弃 ” 一部分神经元。

训练阶段：每个神经元有概率 p 被暂时 ” 丢弃 ”(输出设为 0)
测试阶段：所有神经元都保持活跃，但输出要乘以 p(保持期望一致)

# Keras 中 Dropout 层的使用示例
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

# 在 CNN 中的使用
model = Sequential([Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)),
    MaxPooling2D((2,2)),
    Dropout(0.25),  # 丢弃 25% 的神经元

    Conv2D(64, (3,3), activation='relu'),
    MaxPooling2D((2,2)),
    Dropout(0.25),

    Flatten(),
    Dense(64, activation='relu'),
    Dropout(0.5),  # 全连接层通常使用更高的 dropout 率
    Dense(10, activation='softmax')
])

# 在 RNN 中的使用略有不同
model = Sequential([LSTM(128, input_shape=(100,1), return_sequences=True),
    Dropout(0.2),
    LSTM(128),
    Dropout(0.2),
    Dense(1)
])

CNN 中通常在卷积层后使用较小的 dropout 率(0.2-0.5)
RNN 中 dropout 率通常更小(0.1-0.3)
全连接层可以使用较大的 dropout 率(0.5)
输入层也可以添加 dropout(称为 input dropout)

早停法是一种简单有效的防止过拟合技术。其核心思想是监控验证集上的性能，当性能不再提升时停止训练。

# Keras 中 EarlyStopping 回调的使用
from tensorflow.keras.callbacks import EarlyStopping

# 定义早停回调
early_stopping = EarlyStopping(
    monitor='val_loss',  # 监控验证集 loss
    min_delta=0.001,    # 认为有提升的最小变化量
    patience=10,        # 等待 epoch 数
    restore_best_weights=True  # 恢复最佳权重
)

# 在模型训练中使用
model.fit(X_train, y_train,
          validation_data=(X_val, y_val),
          epochs=100,
          callbacks=[early_stopping])

必须使用独立的验证集，不能是测试集
patience 参数不宜过小(容易过早停止)，也不宜过大(失去意义)
可以配合 ModelCheckpoint 回调保存最佳模型
监控指标可以选择 val_loss 或 val_accuracy

方案	计算开销	适用场景	主要优点
L1 正则化	低	高维稀疏数据、特征选择	产生稀疏解
L2 正则化	低	大多数情况	平滑权重分布
Dropout	中等	深度学习模型	网络结构正则化
早停法	低	所有迭代训练	无需额外超参数调优