BP神经网络基本原理及实例推导：从数学基础到Python实现

1次阅读

共计 2214 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络是深度学习的基础架构，它通过反向传播算法实现了多层感知机的有效训练。理解 BP 原理不仅能掌握神经网络的核心工作机制，还能为更复杂的模型打下坚实基础。本文将从数学推导到代码实现，带你完整走通 BP 网络的全流程。

神经网络的前向传播可以表示为层层递进的矩阵运算。对于一个三层的网络（输入层、隐藏层、输出层），其计算过程为：

\begin{aligned}
Z^{[1]} &= W^{[1]}X + b^{[1]} \\
A^{[1]} &= \sigma(Z^{[1]}) \\
Z^{[2]} &= W^{[2]}A^{[1]} + b^{[2]} \\
A^{[2]} &= \sigma(Z^{[2]})
\end{aligned}

其中 $\sigma$ 表示 Sigmoid 激活函数：$\sigma(z) = \frac{1}{1+e^{-z}}$

损失函数（以均方误差为例）对权重参数的偏导计算是 BP 算法的核心：

\frac{\partial L}{\partial W^{[2]}} = \frac{\partial L}{\partial A^{[2]}} \cdot \frac{\partial A^{[2]}}{\partial Z^{[2]}} \cdot \frac{\partial Z^{[2]}}{\partial W^{[2]}}

具体展开后得到：

dZ^{[2]} = A^{[2]} - Y \\
dW^{[2]} = \frac{1}{m}dZ^{[2]}A^{[1]T}

Sigmoid 函数的导数有其特殊性质：

\sigma'(z) = \sigma(z)(1-\sigma(z))

这个特性使得它的梯度值始终小于 0.25，这是导致梯度消失问题的重要原因之一。

import numpy as np

# 参数初始化（He 初始化）def initialize_parameters(layer_dims):
    parameters = {}
    for l in range(1, len(layer_dims)):
        parameters['W' + str(l)] = np.random.randn(layer_dims[l], layer_dims[l-1]) * np.sqrt(2./layer_dims[l-1])
        parameters['b' + str(l)] = np.zeros((layer_dims[l], 1))
    return parameters

def forward_propagation(X, parameters):
    # 第一层计算
    Z1 = np.dot(parameters['W1'], X) + parameters['b1']
    A1 = 1/(1+np.exp(-Z1))  # Sigmoid 激活

    # 第二层计算
    Z2 = np.dot(parameters['W2'], A1) + parameters['b2']
    A2 = 1/(1+np.exp(-Z2))

    cache = {'Z1':Z1, 'A1':A1, 'Z2':Z2, 'A2':A2}
    return A2, cache

def backward_propagation(parameters, cache, X, Y):
    m = X.shape[1]

    # 输出层梯度
    dZ2 = cache['A2'] - Y
    dW2 = (1/m) * np.dot(dZ2, cache['A1'].T)
    db2 = (1/m) * np.sum(dZ2, axis=1, keepdims=True)

    # 隐藏层梯度
    dA1 = np.dot(parameters['W2'].T, dZ2)
    dZ1 = dA1 * cache['A1'] * (1 - cache['A1'])  # Sigmoid 导数
    dW1 = (1/m) * np.dot(dZ1, X.T)
    db1 = (1/m) * np.sum(dZ1, axis=1, keepdims=True)

    grads = {'dW1':dW1, 'db1':db1, 'dW2':dW2, 'db2':db2}
    return grads

使用 ReLU 等替代激活函数
采用残差连接（ResNet 思路）
实施梯度裁剪（Gradient Clipping）

def update_parameters(parameters, grads, learning_rate):
    # 指数衰减学习率
    global learning_rate 
    learning_rate *= 0.95  # 每 epoch 衰减 5%

    parameters['W1'] -= learning_rate * grads['dW1']
    parameters['b1'] -= learning_rate * grads['db1']
    # 其他层更新类似