1DCNN改进损失函数：从理论到实践的性能优化指南

1次阅读

共计 1801 个字符，预计需要花费 5 分钟才能阅读完成。

在时间序列分析任务中，1DCNN 因其局部感受野特性，常面临两个核心问题：

短期偏好问题：标准交叉熵或 MSE 损失平等对待所有时间步，难以突出关键时序片段（如心电图中的异常波段）。实验显示在 UCR 数据集上，传统损失函数对长周期模式（>500 时间步）的识别准确率平均下降 12.7%
动态敏感性不足：固定权重的损失计算无法适应不同样本的时序特征分布差异。例如在工业设备振动数据中，正常 / 异常样本的关键特征持续时间可能相差 3 - 5 倍

样本级难度感知：通过 LSTM 层计算每个样本的时序复杂度得分 $s=\frac{1}{T}\sum_{t=1}^T|h_t|$，其中 $h_t$ 为 LSTM 隐藏状态
自适应权重生成：使用两层 MLP 将复杂度分数映射为样本权重 $w=\sigma(W_2\text{ReLU}(W_1s+b_1)+b_2)$，动态调整该样本在总损失中的贡献

特征重要性评估：在 CNN 最后一层卷积输出 $X\in\mathbb{R}^{T\times C}$ 上计算注意力分数 $A=\text{softmax}(XW_a)$
上下文感知损失：重构损失函数为 $L=\frac{1}{T}\sum_{t=1}^T A_t\cdot\ell(y_t, \hat{y}_t)$，其中 $\ell$ 为基础损失函数

import torch
import torch.nn as nn
import torch.nn.functional as F

class DynamicWeightLoss(nn.Module):
    """
    动态权重损失函数
    Args:
        base_loss: 基础损失函数(nn.CrossEntropyLoss 等)
        feat_dim: LSTM 特征维度(default=64)
    """
    def __init__(self, base_loss, feat_dim=64):
        super().__init__()
        self.base_loss = base_loss
        self.lstm = nn.LSTM(input_size=1, hidden_size=feat_dim, batch_first=True)
        self.mlp = nn.Sequential(nn.Linear(feat_dim, 32),
            nn.ReLU(),
            nn.Linear(32, 1),
            nn.Sigmoid())

    def forward(self, input, target):
        # 输入形状检查: [batch_size, seq_len]
        assert input.dim() == 2

        # 计算样本复杂度特征
        lstm_in = input.unsqueeze(-1)  # [B,T,1]
        _, (h_n, _) = self.lstm(lstm_in)
        complexity = self.mlp(h_n.squeeze(0))  # [B,1]

        # 动态调整损失
        raw_loss = self.base_loss(input, target)
        weighted_loss = complexity * raw_loss
        return weighted_loss.mean()

关键参数说明：
– feat_dim：建议设置为输入序列长度的 1 /4~1/8
– complexity：输出范围[0,1]，接近 1 表示高难度样本

在 EEG 眼动数据集上的测试结果（5 折交叉验证）：