深入解析BP神经网络：从数学原理到Python实现

1次阅读

共计 1927 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络是深度学习中最基础的算法之一，它通过误差反向传播机制实现了多层网络的参数更新。现代深度学习的许多成功应用（如图像识别、自然语言处理）都建立在 BP 算法的改进和优化之上。理解 BP 原理是掌握深度学习的关键第一步。

假设网络有 L 层，第 l 层的权重矩阵为 $W^l$，偏置为 $b^l$，激活函数为 $f$，则前向传播可表示为：
$$a^l = f(z^l) = f(W^l a^{l-1} + b^l)$$
其中 $a^0$ 即为输入数据。

使用链式法则计算损失 $L$ 对权重 $W^l_{ij}$ 的偏导：
$$\frac{\partial L}{\partial W^l_{ij}} = \frac{\partial L}{\partial z^l_i} \cdot \frac{\partial z^l_i}{\partial W^l_{ij}} = \delta^l_i \cdot a^{l-1}_j$$
其中误差项 $\delta^l_i$ 通过反向传播计算：
$$\delta^l = (W^{l+1})^T \delta^{l+1} \odot f'(z^l)$$

权重更新公式：
$$W^l = W^l – \eta \cdot \frac{\partial L}{\partial W^l}$$
学习率 $\eta$ 控制更新步长：
– 过大：可能错过最优解
– 过小：收敛速度慢

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 权重初始化（Xavier 方法）self.W1 = np.random.randn(input_size, hidden_size) / np.sqrt(input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) / np.sqrt(hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        m = X.shape[0]  # 样本数量

        # 计算输出层误差
        delta2 = (self.a2 - y) * self.a2 * (1 - self.a2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0) / m

        # 计算隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0) / m

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1