深入解析BP神经网络原理：从数学基础到Python实现

1次阅读

共计 1945 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络是深度学习的基础构件，通过误差反向传播实现参数自动优化。其核心思想是用梯度下降法最小化损失函数，这种端到端的训练方式奠定了现代深度学习的理论基础。掌握 BP 算法不仅能理解神经网络工作机制，更是进阶学习 CNN、RNN 等复杂模型的必经之路。

前向传播本质是层间权重矩阵与输入向量的线性变换叠加非线性激活：

\mathbf{z}^l = \mathbf{W}^l\mathbf{a}^{l-1} + \mathbf{b}^l
\mathbf{a}^l = \sigma(\mathbf{z}^l)

其中 $\sigma$ 代表 Sigmoid 等激活函数，$l$ 表示网络层数。

通过链式法则计算损失函数 $L$ 对权重 $W_{ij}^l$ 的偏导：

\frac{\partial L}{\partial W_{ij}^l} = \frac{\partial L}{\partial z_j^l}\frac{\partial z_j^l}{\partial W_{ij}^l} = \delta_j^l a_i^{l-1}

误差项 $\delta^l$ 的递推公式为：

\delta^l = (\mathbf{W}^{l+1})^T\delta^{l+1} \odot \sigma'(\mathbf{z}^l)

采用梯度下降法更新参数：

W_{ij}^l \leftarrow W_{ij}^l - \eta \frac{\partial L}{\partial W_{ij}^l}

$\eta$ 为学习率，控制参数更新步长。

构建包含输入层 (784)、隐藏层(256)、输出层(10) 的三层网络：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

from tensorflow.keras.datasets import mnist

(train_images, train_labels), _ = mnist.load_data()
train_images = train_images.reshape(-1, 784) / 255.0  # 归一化
one_hot_labels = np.eye(10)[train_labels]  # 转 one-hot 编码

# 普通初始化
W = np.random.randn(fan_in, fan_out) * 0.01

# Xavier 初始化
W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)

实验显示 Xavier 初始化使各层激活值方差保持稳定，加速收敛约 30%。

learning_rate = 0.1 * (1 / (1 + decay_rate * epoch))

通过绘制损失曲线可观察到：固定学习率易震荡，衰减策略使后期训练更稳定。

batch_mean = np.mean(activations, axis=0)
batch_var = np.var(activations, axis=0)
normalized = (activations - batch_mean) / np.sqrt(batch_var + 1e-8)
out = gamma * normalized + beta  # 可学习参数