BPNN反向传播神经网络入门指南：从数学原理到Python实现

1次阅读

共计 1451 个字符，预计需要花费 4 分钟才能阅读完成。

反向传播神经网络（BPNN）是深度学习的基础算法，就像学数学要先掌握加减乘除一样。它的核心价值在于能自动调整网络参数，让计算机学会从数据中提取规律。举个实际例子：当我们要识别手写数字时，BPNN 可以通过学习数千张标注图片，最终准确判断出任意一张图片中的数字是 0 到 9 中的哪一个。

理解 BPNN 的关键在于把握两个核心过程：前向传播和反向传播。我们可以用计算图的方式把抽象数学具象化：

前向传播 就像沿着高速公路前行：
输入数据 $X$（比如 28×28 像素的图片）
经过权重 $W$ 和偏置 $b$ 的线性变换：$z=WX+b$
通过激活函数 $\sigma$（如 Sigmoid）：$a=\sigma(z)$
最终输出预测结果 $\hat{y}$
反向传播 则是沿着原路返回检查：
计算预测值 $\hat{y}$ 与真实值 $y$ 的差距（损失函数 $L$）
通过链式法则逐层求导：$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial z}\frac{\partial z}{\partial W}$
更新参数：$W_{new}=W_{old}-\eta\frac{\partial L}{\partial W}$

下面用 NumPy 实现一个三层网络（完整代码见 GitHub）：

# 网络初始化
input_size = 784  # 28x28
hidden_size = 128
output_size = 10
W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1./input_size)  # Xavier 初始化
b1 = np.zeros(hidden_size)
# ... 类似初始化 W2,b2...

# 前向传播
def forward(X):
    z1 = np.dot(X, W1) + b1  # (batch,784)×(784,128)->(batch,128)
    a1 = 1/(1+np.exp(-z1))    # Sigmoid 激活
    z2 = np.dot(a1, W2) + b2  # (batch,128)×(128,10)->(batch,10)
    return softmax(z2)        # 输出概率分布

关键技巧说明：