深入解析bp梯度下降公式：从数学原理到代码实现

1次阅读

没有评论

共计 1795 个字符，预计需要花费 5 分钟才能阅读完成。

神经网络的核心是通过调整权重参数来最小化损失函数。想象你在山上蒙眼找下山路，梯度下降就是靠感知脚下坡度（梯度）来决定移动方向。每次迭代时，我们计算损失函数对每个参数的偏导数（梯度），然后沿着负梯度方向更新参数。

数学表达为：
$$
w_{new} = w_{old} – \eta \cdot \frac{\partial L}{\partial w}
$$
其中 $\eta$ 是学习率，控制步长大小。

反向传播 (BP) 本质是链式法则的递归应用。以单隐藏层网络为例：

前向传播 计算预测值：
$$
z = w^Tx + b,\quad a = \sigma(z)
$$
$\sigma$ 是激活函数（如 Sigmoid）
反向传播 时从输出层开始：
输出层梯度：
$$
\frac{\partial L}{\partial a} = a – y
$$
通过链式法则逐层回传：
$$
\frac{\partial L}{\partial w} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w}
$$

SGD（随机梯度下降）：
优点：实现简单，内存占用小
缺点：容易陷入局部最优，收敛震荡
Momentum：
引入动量项积累历史梯度：
$$
v_t = \gamma v_{t-1} + \eta \nabla L
$$
有效缓解震荡，加速收敛
Adam：
结合动量与自适应学习率
实际工程中最常用的选择

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size):
        self.w1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.w2 = np.random.randn(hidden_size, 1) * 0.01
        self.b2 = np.zeros(1)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        self.z1 = np.dot(X, self.w1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.w2) + self.b2
        return self.sigmoid(self.z2)

    def backward(self, X, y, lr=0.1):
        m = X.shape[0]
        # 输出层梯度
        dz2 = self.forward(X) - y
        dw2 = np.dot(self.a1.T, dz2) / m
        db2 = np.sum(dz2, axis=0) / m

        # 隐藏层梯度
        dz1 = np.dot(dz2, self.w2.T) * (self.a1 * (1 - self.a1))
        dw1 = np.dot(X.T, dz1) / m
        db1 = np.sum(dz1, axis=0) / m

        # 参数更新
        self.w2 -= lr * dw2
        self.b2 -= lr * db2
        self.w1 -= lr * dw1
        self.b1 -= lr * db1