1DCNN改进损失函数实战：从理论到PyTorch实现

1次阅读

共计 1924 个字符，预计需要花费 5 分钟才能阅读完成。

在 1D 卷积神经网络（1DCNN）的训练中，选择合适的损失函数对模型性能至关重要。传统的均方误差（MSE）和交叉熵（CrossEntropy）损失函数在处理时序数据时，往往难以捕捉局部特征的细微差异，导致模型收敛缓慢或分类性能不佳。本文将以 ECG 信号分类为例，介绍如何改进损失函数来优化 1DCNN 的训练效果。

以 ECG 信号分类为例，传统 MSE 损失函数的局限性主要体现在以下几个方面：

全局平均误差 ：MSE 对所有时间点的误差给予相同的权重，无法突出关键波形（如 QRS 波群）的重要性。
局部特征忽视 ：ECG 信号的局部形态特征（如 ST 段抬高）对疾病诊断至关重要，但 MSE 难以捕捉这些细节差异。
类别不平衡 ：某些心律失常类别的样本较少，交叉熵损失可能偏向多数类。

动态加权 MSE 通过为不同时间点分配不同的权重，突出关键区域的误差贡献。其数学表达式为：

$$\mathcal{L}{\text{dynamic}} = \frac{1}{N} \sum_i)^2$$}^{N} w_i (y_i – \hat{y

其中，$w_i$ 是根据信号特征动态计算的权重。

对比损失通过增大不同类别样本之间的距离，同时减小同类样本之间的距离，来增强模型的判别能力。其数学表达式为：

$$\mathcal{L}{\text{contrast}} = \frac{1}{2N} \sum \left[y_i d_i^2 + (1 – y_i) \max(0, m – d_i)^2 \right]$$}^{N

其中，$d_i$ 是样本对之间的距离，$m$ 是边界参数。

以下是一个完整的 PyTorch 实现示例，包含数据标准化和自定义损失类：

import torch
import torch.nn as nn
import torch.nn.functional as F

# 动态加权 MSE 损失
class DynamicWeightedMSE(nn.Module):
    def __init__(self, weight_func=None):
        super(DynamicWeightedMSE, self).__init__()
        self.weight_func = weight_func if weight_func else lambda x: torch.abs(x) + 1

    def forward(self, y_pred, y_true):
        weights = self.weight_func(y_true)  # 根据输入信号计算权重
        loss = torch.mean(weights * (y_pred - y_true) ** 2)
        return loss

# 对比损失
class ContrastiveLoss(nn.Module):
    def __init__(self, margin=1.0):
        super(ContrastiveLoss, self).__init__()
        self.margin = margin

    def forward(self, output1, output2, label):
        euclidean_distance = F.pairwise_distance(output1, output2)
        loss = torch.mean(label * torch.pow(euclidean_distance, 2) +
                          (1 - label) * torch.pow(torch.clamp(self.margin - euclidean_distance, min=0.0), 2))
        return loss

在 MIT-BIH 心律失常数据集上的实验结果如下：