为什么SOTA故障诊断论文中非ResNet基线模型都使用ReLU激活函数？

1次阅读

没有评论

共计 2130 个字符，预计需要花费 6 分钟才能阅读完成。

故障诊断是工业领域的重要任务，旨在通过传感器数据识别设备的异常状态。这类任务通常具有以下特点：

输入数据维度高（如振动信号、温度等多源传感器数据）
故障模式多样且可能存在未知类型
需要快速实时响应

神经网络因其强大的特征提取能力，成为故障诊断的主流方法。而激活函数的选择直接影响着模型的性能和训练效率。

Sigmoid 函数将输入压缩到 (0,1) 区间，曾经被广泛使用，但在故障诊断中存在明显缺陷：

梯度消失问题严重，深层网络难以训练
计算量较大（涉及指数运算）
输出不以零为中心，影响梯度更新效率

虽然 Tanh 解决了输出不以零为中心的问题，但仍然存在：

梯度消失问题（虽然比 Sigmoid 略好）
计算复杂度高
对异常值敏感

LeakyReLU 是 ReLU 的改进版本，解决了 ” 死亡 ReLU” 问题，但：

需要额外调参（确定负区间的斜率）
在故障诊断任务中性能提升不明显

ReLU 的梯度在正区间恒为 1，完美解决了深层网络的梯度消失问题。故障诊断网络通常需要 5 -10 层深度，这一特性至关重要。

ReLU 只需简单的阈值判断(max(0,x))，比 Sigmoid/Tanh 的指数计算快 6 倍以上。这对工业实时应用特别重要。

约 50% 的神经元会被置零，这种稀疏性：

减少参数依赖性
增强模型鲁棒性
类似人脑的稀疏编码机制

以下是在 CWRU 轴承数据集上的对比实验代码：

import torch
import torch.nn as nn
from torch.utils.data import DataLoader
from datasets import CWRUDataset  # 假设已实现的数据加载类

# 定义测试模型
class FaultDiagnosisModel(nn.Module):
    def __init__(self, activation='relu'):
        super().__init__()
        self.fc1 = nn.Linear(1024, 512)
        self.fc2 = nn.Linear(512, 256)
        self.fc3 = nn.Linear(256, 10)  # 10 类故障

        if activation == 'relu':
            self.act = nn.ReLU()
        elif activation == 'sigmoid':
            self.act = nn.Sigmoid()
        elif activation == 'tanh':
            self.act = nn.Tanh()
        elif activation == 'leakyrelu':
            self.act = nn.LeakyReLU(0.01)

    def forward(self, x):
        x = self.act(self.fc1(x))
        x = self.act(self.fc2(x))
        return self.fc3(x)

# 训练测试函数
def test_activation(activation):
    model = FaultDiagnosisModel(activation)
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    criterion = nn.CrossEntropyLoss()

    dataset = CWRUDataset()
    loader = DataLoader(dataset, batch_size=32, shuffle=True)

    # 训练循环
    for epoch in range(10):
        for x, y in loader:
            optimizer.zero_grad()
            outputs = model(x)
            loss = criterion(outputs, y)
            loss.backward()
            optimizer.step()

    # 返回测试集准确率
    test_acc = evaluate(model, test_loader)  
    return test_acc

# 测试不同激活函数
activations = ['relu', 'sigmoid', 'tanh', 'leakyrelu']
results = {act: test_activation(act) for act in activations}
print("测试结果:", results)

典型实验结果：