CMAPSS数据集FD004过拟合问题实战：从数据增强到模型正则化的解决方案

1次阅读

共计 1947 个字符，预计需要花费 5 分钟才能阅读完成。

CMAPSS（Commercial Modular Aero-Propulsion System Simulation）数据集是 NASA 发布的航空发动机退化模拟数据，其中 FD004 子集包含多工况（6 种飞行条件）和小样本（仅 249 台发动机）特性。这种数据特性使得传统 LSTM 模型容易出现过拟合问题。

在实际测试中，我们发现原始 LSTM 模型的训练损失可以降到 0.1 以下，但验证集损失在 20 个 epoch 后就停止下降，维持在 0.3 左右。这种明显的训练 - 验证差距表明模型在记忆训练数据而非学习泛化模式。

时间序列滑窗增强：
将原始序列切分为固定长度（如 30 个时间步）的滑动窗口
采用重叠采样策略增加数据多样性
对不同工况的数据分别进行标准化
传感器特征筛选：
计算 21 个传感器信号与 RUL 的互信息值
保留 top-12 最具预测性的特征
显著降低噪声维度

BiLSTM+Attention 结构：
双向 LSTM 捕捉前后时序依赖
注意力机制动态加权重要时间步
输出层采用全连接 + 线性激活
正则化策略：
DropPath：随机丢弃整个时间步的梯度路径
Label Smoothing：软化 one-hot 标签（ε=0.1）
梯度裁剪（阈值 =5.0）防止梯度爆炸

class CMAPSSDataset(Dataset):
    def __init__(self, df, window_size=30, stride=5):
        self.windows = []
        # 按发动机 ID 分组
        for engine_id, group in df.groupby('engine_id'):
            # 滑动窗口处理
            for i in range(0, len(group)-window_size, stride):
                window = group.iloc[i:i+window_size]
                self.windows.append(window)

    def __len__(self):
        return len(self.windows)

    def __getitem__(self, idx):
        window = self.windows[idx]
        # 提取特征和标签
        features = window[sensor_cols].values  # 筛选后的传感器列
        rul = window['RUL'].values[-1]  # 取窗口最后一个 RUL 值
        return torch.FloatTensor(features), torch.FloatTensor([rul])

class BiLSTM_Attention(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.bilstm = nn.LSTM(
            input_size=input_dim,
            hidden_size=hidden_dim,
            bidirectional=True,
            dropout=0.2
        )
        self.attention = nn.Sequential(nn.Linear(2*hidden_dim, 1),
            nn.Softmax(dim=1)
        )

    def forward(self, x):
        # x: [batch, seq_len, features]
        lstm_out, _ = self.bilstm(x)  # [batch, seq_len, 2*hidden]
        attn_weights = self.attention(lstm_out)  # [batch, seq_len, 1]
        context = torch.sum(attn_weights * lstm_out, dim=1)  # [batch, 2*hidden]
        return context