共计 1366 个字符，预计需要花费 4 分钟才能阅读完成。

反向传播神经网络核心原理

1. 链式求导与梯度消失

反向传播的核心是链式求导法则。对于第 $l$ 层的权重 $W^l$，其梯度计算为：

$$
\frac{\partial L}{\partial W^l} = \frac{\partial L}{\partial z^{l+1}} \cdot \frac{\partial z^{l+1}}{\partial W^l}
$$

其中 $z^l$ 表示第 $l$ 层的线性输出。当使用 Sigmoid 激活函数 $\sigma(z)=\frac{1}{1+e^{-z}}$ 时，其导数为：

$$
\sigma'(z) = \sigma(z)(1-\sigma(z))
$$

在饱和区（$|z|>3$）时导数趋近于 0，导致多层连乘后梯度指数级衰减。

2. 激活函数对比实验

我们实测了 5 层全连接网络在 MNIST 上的表现：

ReLU 的梯度传导能力明显优于 Sigmoid。

优化方案实现

3. Xavier 初始化推导

对于含有 $n_{in}$ 个输入的全连接层，Xavier 初始化标准差为：

$$
\sigma = \sqrt{\frac{2}{n_{in} + n_{out}}}
$$

该公式保证了各层输出的方差一致。结合 ReLU 的修正版本（He 初始化）将系数改为 $\sqrt{2/n_{in}}$。

4. PyTorch 实战代码

import torch.nn as nn
import torch.nn.init as init

class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.layers = nn.Sequential(nn.Linear(784, 256),
            nn.ReLU(),
            nn.Linear(256, 128),
            nn.ReLU(),
            nn.Linear(128, 10)
        )

        # Xavier 初始化
        for m in self.modules():
            if isinstance(m, nn.Linear):
                init.xavier_normal_(m.weight)
                # 防止除零异常的 epsilon 处理
                m.bias.data.fill_(1e-3)

完整训练代码需包含：

# 前向传播
y_pred = model(x)
loss = criterion(y_pred, y)

# 反向传播
optimizer.zero_grad()
loss.backward()  # 自动计算梯度
optimizer.step()  # 更新参数

效果验证与生产建议

5. MNIST 实验结果

优化后模型准确率提升 6.2%，收敛速度加快 2.5 倍。

6. 生产环境避坑指南

• 学习率应与初始化尺度匹配：Xavier 初始化后建议初始学习率设为 0.01
• BatchNorm 不宜与 Xavier 同时使用：可能造成双重归一化
• GPU 显存不足时可尝试：
• 减小 batch size
• 使用梯度累积
• 启用混合精度训练

7. 延伸思考方向

残差连接通过恒等映射保留梯度：
$$
H(x) = F(x) + x
$$
使得梯度可以直接回传。与 Transformer 相比：
– 类似点：都使用 LayerNorm 稳定训练
– 不同点：Transformer 依赖 Attention 矩阵的梯度缩放