BP神经网络中的梯度下降：从数学原理到Python实战入门指南

1次阅读

没有评论

共计 1618 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始接触神经网络时，我总被反向传播搞得晕头转向。明明代码照着教程写，结果要么 loss 纹丝不动（梯度消失），要么直接爆炸成 NaN（梯度爆炸）。后来才发现，核心问题出在梯度下降的三个关键环节：

梯度计算 ：链式求导时，多层 Sigmoid 的连乘会导致梯度指数级缩小 / 增大
学习率选择 ：0.1 可能震荡发散，0.001 又训练缓慢
权重初始化 ：全零初始化会使所有神经元同步更新（对称性问题）

以 3 层网络（输入层→隐藏层→输出层）为例，权重更新公式为：

$$ W_{new} = W_{old} – \eta \cdot \frac{\partial L}{\partial W} $$

其中关键是对损失函数 $L$ 的求导。以隐藏层到输出层的权重 $W^{[2]}$ 为例：

$$
\frac{\partial L}{\partial W^{[2]}} = \underbrace{(\hat{y} – y)}{\text{ 输出层误差}} \cdot \underbrace{\sigma'(z^{[2]})}
$$}} \cdot \underbrace{a^{[1]}}_{\text{ 隐藏层输出}

这就是著名的链式法则——误差从输出层逐层反向传播的过程。

import numpy as np
from sklearn.datasets import load_digits

# 数据预处理
data = load_digits()
X = data.data / 16.0  # 归一化到 [0,1]
y = np.eye(10)[data.target]  # one-hot 编码

# 网络参数
input_size = 64
hidden_size = 32
output_size = 10
lr = 0.1  # 初始学习率

# 初始化权重（打破对称性）W1 = np.random.randn(input_size, hidden_size) * 0.01
W2 = np.random.randn(hidden_size, output_size) * 0.01

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 训练循环
for epoch in range(1000):
    # 前向传播
    z1 = X.dot(W1)
    a1 = sigmoid(z1)
    z2 = a1.dot(W2)
    a2 = sigmoid(z2)

    # 计算损失（MSE）loss = np.mean((a2 - y) ** 2)

    # 反向传播
    error = a2 - y

    # 梯度裁剪（防止爆炸）error = np.clip(error, -1, 1)

    dW2 = a1.T.dot(error * sigmoid_derivative(a2))
    dW1 = X.T.dot((error.dot(W2.T)) * sigmoid_derivative(a1))

    # 学习率衰减
    lr *= 0.995 if epoch % 100 == 0 else 1

    # 更新权重
    W2 -= lr * dW2
    W1 -= lr * dW1

学习率	最终准确率	训练行为
0.1	72%	前期震荡剧烈
0.01	89%	稳定收敛
0.001	65%	收敛过慢

输入未归一化 ：
现象：梯度忽大忽小
解决：对输入做 MinMax 缩放
权重初始化不当 ：
现象：loss 长期不变
解决：使用 Xavier/Glorot 初始化
批量大小过大 ：
现象：内存溢出
解决：从 32/64 开始尝试

当加入动量项 $\gamma v_{t-1}$ 后，权重更新公式变为：
$$ v_t = \gamma v_{t-1} + \eta \nabla_W $$
$$ W_{t+1} = W_t – v_t $$
如何选择合理的 $\gamma$ 值？
Adam 优化器结合了动量与自适应学习率，但在哪些场景下传统的 SGD 反而更优？

经过这次实践，我深刻体会到：理解数学原理后，代码只是公式的另一种表达形式。建议新手先用小数据集（如 MNIST）验证算法正确性，再逐步添加高级优化技巧。

正文完