深入解析BP神经网络：从数学原理到Python实现

1次阅读

共计 1649 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络是深度学习的基础架构，通过误差反向传播实现参数自动优化。其核心价值在于能够拟合任意非线性函数，为复杂模式识别提供通用解决方案。从手写数字识别到自然语言处理，绝大多数深度学习模型都依赖 BP 算法进行训练。

设输入层为 $X\in\mathbb{R}^{n\times d}$（n 个样本，d 维特征），第一层权重 $W_1\in\mathbb{R}^{d\times h}$，则隐层输出：
$$H = \sigma(XW_1 + b_1)$$
其中 $\sigma$ 为 sigmoid 函数：$\sigma(z)=1/(1+e^{-z})$

采用交叉熵损失 $L=-\sum y\log\hat{y}$，对输出层权重 $W_2$ 求导：
$$\frac{\partial L}{\partial W_2} = (\hat{Y}-Y)H^T$$
通过链式法则逐层回传误差信号，形成完整的反向传播通路。

学习率 $\eta$ 控制参数更新步长：
$$W \leftarrow W – \eta\cdot\frac{\partial L}{\partial W}$$
过大导致震荡，过小则收敛缓慢，建议初始值为 0.01-0.1。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        #  Xavier 初始化
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        self.hidden = self.sigmoid(X.dot(self.W1) + self.b1)
        return self.sigmoid(self.hidden.dot(self.W2) + self.b2)

    def backward(self, X, y, lr=0.01):
        # 反向传播计算梯度
        output = self.forward(X)
        error = output - y

        dW2 = self.hidden.T.dot(error)
        db2 = np.sum(error, axis=0)

        hidden_error = error.dot(self.W2.T) * (self.hidden * (1-self.hidden))
        dW1 = X.T.dot(hidden_error)
        db1 = np.sum(hidden_error, axis=0)

        # 参数更新
        self.W2 -= lr * dW2
        self.b2 -= lr * db2
        self.W1 -= lr * dW1
        self.b1 -= lr * db1