BP神经网络激活函数：从Sigmoid到ReLU的演进与实战避坑指南

1次阅读

共计 1753 个字符，预计需要花费 5 分钟才能阅读完成。

在神经网络中，激活函数就像神经元的 ” 开关 ”，决定了信号是否继续传递。想象水流经过管道：

没有激活函数：所有层退化为线性变换，等效于单层网络（$f(x)=W_3W_2W_1x$）
Sigmoid 的致命伤：当输入值较大时（$|x|>5$），导数接近 0（最大仅 0.25），反向传播时梯度连乘会指数级衰减

数学表现：
$$\sigma(x)=\frac{1}{1+e^{-x}} \quad \sigma'(x)=\sigma(x)(1-\sigma(x))$$

函数	公式	导数值范围	饱和区
Sigmoid	$\frac{1}{1+e^{-x}}$	(0, 0.25]	$
Tanh	$\frac{e^x-e^{-x}}{e^x+e^{-x}}$	(0, 1]	$
ReLU	$max(0,x)$	{0, 1}	$x<0$
LeakyReLU	$max(0.01x,x)$	{0.01, 1}	无

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

class Net(nn.Module):
    def __init__(self, activation='relu'):
        super().__init__()
        self.fc1 = nn.Linear(784, 256)
        self.fc2 = nn.Linear(256, 128)
        self.fc3 = nn.Linear(128, 10)

        # 关键：初始化与激活函数匹配
        if activation == 'relu':
            nn.init.kaiming_normal_(self.fc1.weight, mode='fan_in', nonlinearity='relu')
            self.act = nn.ReLU()
        elif activation == 'sigmoid':
            nn.init.xavier_normal_(self.fc1.weight, gain=nn.init.calculate_gain('sigmoid'))
            self.act = nn.Sigmoid()

    def forward(self, x):
        x = x.view(-1, 784)
        x = self.act(self.fc1(x))
        x = self.act(self.fc2(x))
        return self.fc3(x)

# 训练循环示例（完整代码需补充数据加载）model = Net(activation='relu')
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1)

for epoch in range(10):
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model(data)
        loss = F.cross_entropy(output, target)
        loss.backward()
        optimizer.step()
    scheduler.step()