机器学习模型诊断指南：深入解析欠拟合与过拟合问题及四种实战解决方案

1次阅读

没有评论

共计 2443 个字符，预计需要花费 7 分钟才能阅读完成。

在工业界实际应用中，模型拟合问题是影响机器学习效果的关键因素。无论是电商推荐系统还是金融风控模型，欠拟合会导致预测不准，而过拟合则会让模型在真实场景中表现糟糕。这些问题直接影响业务效果和用户体验，因此掌握诊断和解决方法至关重要。

欠拟合 (Underfitting/ 高偏差) 和过拟合 (Overfitting/ 高方差) 可以用以下公式表示：

欠拟合：
$$J_{train}(\theta) \text{很高}, J_{cv}(\theta) \approx J_{train}(\theta)$$

过拟合：
$$J_{train}(\theta) \text{很低}, J_{cv}(\theta) \gg J_{train}(\theta)$$

其中 $J_{train}$ 和 $J_{cv}$ 分别表示训练集和验证集的损失函数值。

典型的欠拟合和过拟合在训练过程中的表现如下：

欠拟合模型：训练集和验证集的 loss 曲线都保持较高水平，且两者差距很小
过拟合模型：训练集 loss 持续下降，而验证集 loss 先降后升，两者差距逐渐拉大

使用 PyTorch 演示如何通过增加神经网络层数来提升模型表达能力：

import torch.nn as nn

# 原始简单模型
class SimpleModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.layer = nn.Linear(10, 1)  # 单层网络

    def forward(self, x):
        return self.layer(x)

# 增强后的复杂模型
class ComplexModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.layer1 = nn.Linear(10, 64)  # 增加隐藏层
        self.layer2 = nn.Linear(64, 32)
        self.output = nn.Linear(32, 1)

    def forward(self, x):
        x = torch.relu(self.layer1(x))
        x = torch.relu(self.layer2(x))
        return self.output(x)

预期效果：更深的网络结构可以捕捉更复杂的特征关系，解决模型表达能力不足的问题。

通过多项式特征扩展提升特征的表达能力：

from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

# 原始特征
X = [[1, 2], [3, 4], [5, 6]]

# 多项式特征扩展(degree=2)
poly = PolynomialFeatures(degree=2, include_bias=False)
X_poly = poly.fit_transform(X)

print("扩展后的特征：")
print(X_poly)

# 使用扩展后的特征训练模型
model = LinearRegression()
model.fit(X_poly, y)

输出示例：

扩展后的特征：[[1.  2.  1.  2.  4.]
 [3.  4.  9. 12. 16.]
 [5.  6. 25. 30. 36.]]

对比正则化前后的权重分布变化：

from sklearn.linear_model import Ridge

# 不使用正则化
model_no_reg = LinearRegression()
model_no_reg.fit(X_train, y_train)

# 使用 L2 正则化
model_l2 = Ridge(alpha=1.0)  # alpha 是正则化强度
model_l2.fit(X_train, y_train)

# 比较权重值
print("无正则化权重：", model_no_reg.coef_)
print("L2 正则化权重：", model_l2.coef_)

预期效果：正则化后的权重值会更小且分布更均匀，避免某些特征主导预测结果。

使用 Keras 回调函数实现提前停止：

from tensorflow.keras.callbacks import EarlyStopping

# 定义 EarlyStopping 回调
early_stopping = EarlyStopping(
    monitor='val_loss',  # 监控验证集 loss
    patience=5,         # 容忍 epoch 数
    restore_best_weights=True  # 恢复最佳权重
)

# 训练模型时加入回调
model.fit(
    X_train, y_train,
    validation_data=(X_val, y_val),
    epochs=100,
    callbacks=[early_stopping]
)

效果说明：当验证集 loss 连续 5 个 epoch 不再下降时，训练将自动停止，并恢复到最佳模型状态。