BP神经网络算法入门指南：从数学原理到Python实现

1次阅读

共计 1996 个字符，预计需要花费 5 分钟才能阅读完成。

想象你要预测下周的奶茶店销量。传统方法可能用线性回归，但实际销量受天气、促销、节假日等多因素 非线性影响 。这时 BP 神经网络就能通过多层神经元组合，自动学习这些复杂规律。另一个典型场景是手写数字识别——人类能轻松辨认歪歪扭扭的 ”7″，正是因为大脑的神经网络擅长提取 层次化特征，而 BP 算法正是模拟了这一过程。

每个神经元就像一个小型计算器：

输入加权求和：$z = w_1x_1 + w_2x_2 + … + b$
激活函数处理：$a = \sigma(z)$

常用的激活函数对比：

Sigmoid：$\frac{1}{1+e^{-z}}$，输出在 0 - 1 间，但容易出现梯度消失
ReLU：$max(0,z)$，计算简单且缓解梯度消失，但负数部分完全失效

以均方误差损失为例：

前向计算输出：$\hat{y} = \sigma(w_2\cdot\sigma(w_1x+b_1)+b_2)$
损失函数：$L = \frac{1}{2}(y-\hat{y})^2$
反向传播关键步骤（以输出层权重为例）：
$\frac{\partial L}{\partial w_2} = \underbrace{(\hat{y}-y)}{\text{损失梯度}} \cdot \underbrace{\sigma'(z_2)}$}} \cdot \underbrace{a_1}_{\text{上层输出}

学习率：太大导致震荡，太小收敛慢。建议从 0.01 开始尝试
批量大小：大批量训练稳定但耗内存，小批量引入噪声可能帮助跳出局部最优

import numpy as np

class ThreeLayerNet:
    def __init__(self, input_size, hidden_size, output_size):
        # Xavier 初始化防止梯度消失
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, x):
        self.z1 = np.dot(x, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return self.sigmoid(self.z2)

    def train(self, x, y, lr=0.01):
        # 前向传播
        y_pred = self.forward(x)

        # 反向传播
        error = y_pred - y
        delta2 = error * self.sigmoid(self.z2) * (1 - self.sigmoid(self.z2))
        dW2 = np.dot(self.a1.T, delta2)

        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid(self.z1) * (1 - self.sigmoid(self.z1))
        dW1 = np.dot(x.T, delta1)

        # 参数更新
        self.W1 -= lr * dW1
        self.b1 -= lr * np.sum(delta1, axis=0)
        self.W2 -= lr * dW2
        self.b2 -= lr * np.sum(delta2, axis=0)

现象：深层网络训练时，靠近输入层的参数几乎不更新

解决方案：