BP前馈神经网络原理详解：从数学推导到Python实现

1次阅读

共计 1753 个字符，预计需要花费 5 分钟才能阅读完成。

前馈神经网络是图像识别、语音处理等领域的核心工具，它能自动学习输入数据的复杂特征。通过多层非线性变换，网络可以逼近任意函数关系，为现代 AI 系统提供基础支撑。理解其工作原理是掌握深度学习的关键第一步。

单个神经元的输出可表示为：
$$z = w^Tx + b$$
$$a = \sigma(z)$$
其中 $\sigma$ 是 Sigmoid 函数：
$$\sigma(z) = \frac{1}{1+e^{-z}}$$

当处理批量数据时，使用矩阵运算高效实现：
$$Z = XW + B$$
$$A = \sigma(Z)$$
这里 $X$ 是 $n\times m$ 输入矩阵，$W$ 是 $m\times k$ 权重矩阵。

以输出层神经元为例，损失函数 $L$ 对权重 $w_{ij}$ 的梯度：
$$\frac{\partial L}{\partial w_{ij}} = \frac{\partial L}{\partial a_j}\frac{\partial a_j}{\partial z_j}\frac{\partial z_j}{\partial w_{ij}}$$
具体展开为：
$$\delta_j = (a_j – y_j)\cdot a_j(1-a_j)\cdot x_i$$

权重更新公式：
$$W_{new} = W_{old} – \eta \cdot \nabla_W$$
其中 $\eta$ 是学习率，直接影响收敛速度。建议初始值设为 0.01，根据损失曲线动态调整。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, 1) * 0.01
        self.b2 = np.zeros(1)

    def sigmoid(self, z):
        return 1/(1+np.exp(-z))

    def forward(self, X):
        # 输入层→隐藏层 (batch_size, hidden_size)
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)

        # 隐藏层→输出层 (batch_size, 1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return self.sigmoid(self.z2)

    def backward(self, X, y, output, lr=0.01):
        # 输出层误差 (batch_size, 1)
        dL_dz2 = (output - y) * output * (1 - output)

        # 隐藏层误差 (batch_size, hidden_size)
        dL_da1 = np.dot(dL_dz2, self.W2.T)
        dL_dz1 = dL_da1 * self.a1 * (1 - self.a1)

        # 参数更新
        self.W2 -= lr * np.dot(self.a1.T, dL_dz2)
        self.b2 -= lr * np.sum(dL_dz2, axis=0)
        self.W1 -= lr * np.dot(X.T, dL_dz1)
        self.b1 -= lr * np.sum(dL_dz1, axis=0)