共计 1964 个字符，预计需要花费 5 分钟才能阅读完成。
背景痛点：为什么深层网络难以训练？
在 2006 年之前，深层神经网络（DNN）的训练一直是个难题。核心问题在于 梯度消失（Vanishing Gradient）现象。当使用 sigmoid 或 tanh 这类 S 型激活函数时，反向传播的梯度会随着网络层数的增加呈指数级衰减。
数学上看，对于 sigmoid 函数 $\sigma(z)=\frac{1}{1+e^{-z}}$，其导数为：
$$\sigma'(z)=\sigma(z)(1-\sigma(z))$$
在输入值较大或较小时（|z|>4），导数会趋近于 0。假设某层输入的梯度为 $\delta^{(l)}$，经过 sigmoid 激活后：
$$\delta^{(l-1)} = \delta^{(l)} \cdot W^{(l)} \cdot \sigma'(z^{(l-1)})$$
多次连乘后梯度值迅速归零，导致底层参数几乎无法更新。
技术演进：从预训练到 ReLU 的革命
方案一：逐层预训练（2006）
Hinton 团队提出用 受限玻尔兹曼机（RBM）逐层预训练权重：
- 将神经网络拆解为多个单层 RBM
- 用对比散度算法无监督训练每一层
- 用预训练权重初始化 DNN
- 进行全局微调
这种方法通过预训练规避了随机初始化导致的梯度不稳定，但流程复杂且计算量大。
方案二：ReLU 激活函数（2011 后）
整流线性单元（ReLU） $f(x)=max(0,x)$ 的导数特性完美解决了梯度消失：
- 正区间导数为 1，彻底避免连乘衰减
- 负区间导数为 0，天然稀疏激活
- 计算速度比 sigmoid 快 6 倍
代码实战：PyTorch 对比实验
import torch
import torch.nn as nn
from torch.utils.tensorboard import SummaryWriter
# 超参数设置
epochs = 10
lr = 0.01
batch_size = 64
activations = ['sigmoid', 'tanh', 'relu']
# 数据加载
train_loader = torch.utils.data.DataLoader(datasets.MNIST(...), batch_size=batch_size)
# 定义测试网络
class Net(nn.Module):
def __init__(self, activation):
super().__init__()
self.fc1 = nn.Linear(784, 256)
self.fc2 = nn.Linear(256, 128)
self.fc3 = nn.Linear(128, 10)
if activation == 'sigmoid':
self.act = nn.Sigmoid()
elif activation == 'tanh':
self.act = nn.Tanh()
else:
self.act = nn.ReLU()
def forward(self, x):
x = self.act(self.fc1(x))
x = self.act(self.fc2(x))
return self.fc3(x)
# 对比训练
for act in activations:
model = Net(act)
writer = SummaryWriter(f'runs/mnist_{act}')
for epoch in range(epochs):
for i, (images, labels) in enumerate(train_loader):
# 训练步骤...
loss = criterion(outputs, labels)
# 记录梯度均值
for name, param in model.named_parameters():
writer.add_histogram(f'{name}/grad', param.grad, epoch)实验结果会显示：
– ReLU 网络的底层梯度幅度比 sigmoid 高 2 - 3 个数量级
– ReLU 的测试准确率最快收敛（约 5epoch 达到 98%）
生产建议：现代最佳实践
- 激活函数选择：
- 默认使用 ReLU
- 神经元死亡问题明显时换用 LeakyReLU（α=0.01）
-
需要平滑输出时考虑 Swish（$x\cdot\sigma(βx)$）
-
配合技术：
- 必须搭配批量归一化（BatchNorm）使用
- 超过 50 层的网络建议增加残差连接（ResNet）
- 初始化使用 He 初始化（方差 =2/n）
延伸思考
-
Transformer 中虽然用到了 LayerNorm 和残差连接，但在极深层（如 100+ 层）仍可能出现梯度衰减，需要配合梯度裁剪（Gradient Clipping）
-
验证梯度传播效率的实验设计：
- 构建相同结构的 10 层网络
- 记录每层梯度范数 $||\nabla_W L||_2$
- 对比不同激活函数下梯度幅度的衰减曲线
结语
从 2006 年的预训练到 ReLU 的广泛应用，深层神经网络的训练难题被逐步攻克。理解这些技术背后的数学原理，能帮助我们在实际项目中做出更合理的选择。
