CMAPSS数据集FD004过拟合问题实战：从数据预处理到模型正则化

1次阅读

没有评论

共计 1521 个字符，预计需要花费 4 分钟才能阅读完成。

CMAPSS-FD004 是 NASA 发布的航空发动机退化模拟数据集，包含多台发动机在不同工况下的传感器读数。这个数据集有几个显著特点：

传感器噪声明显 ：由于是真实工况模拟，传感器数据存在明显噪声和异常值
运行周期差异大 ：不同发动机的运行周期从 128 到 543 个周期不等，这种不平衡会影响模型训练
工况变化复杂 ：包含 6 种不同的运行工况组合，增加了特征提取的难度

识别过拟合是解决问题的第一步，我通常通过以下方式诊断：

训练 / 验证损失曲线分析 ：这是最直观的方法。当训练损失持续下降而验证损失开始上升时，就出现了典型的过拟合
特征重要性排序 ：使用随机森林或 XGBoost 等模型计算特征重要性，可以帮助识别冗余特征
模型在测试集的表现 ：如果模型在训练集上表现很好但在测试集上表现很差，就是明显的过拟合信号

针对过拟合问题，我试验了三种主要方法：

数据增强 ：通过添加高斯噪声、时间序列平移等方式扩充训练数据
模型正则化 ：包括 L1/L2 正则化和 dropout
早停法 ：监控验证集损失，当连续几轮不再下降时停止训练

经过对比，发现 L2 正则化配合数据标准化效果最好，RMSE 降低了约 15%。

以下是使用 PyTorch 实现带 L2 正则化的 LSTM 网络的核心代码：

import torch
import torch.nn as nn
from sklearn.preprocessing import MinMaxScaler

# 数据预处理
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 定义 LSTM 模型
class RULPredictor(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, 1)

    def forward(self, x):
        out, _ = self.lstm(x)
        out = self.fc(out[:, -1, :])  # 只取最后一个时间步
        return out

# 训练时添加 L2 正则化
model = RULPredictor(input_size=24, hidden_size=64, num_layers=2)
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)  # L2 正则化

使用了两种主要评估指标：