深入解析BP神经网络：正向传播与反向传播的实现原理与优化实践

1次阅读

共计 2368 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是一种多层前馈神经网络，其核心在于通过误差反向传播算法来调整网络权重。一个典型的 BP 神经网络包括输入层、隐藏层和输出层，每层由多个神经元（节点）组成，层与层之间通过权重连接。

输入层：接收外部输入数据，不进行任何计算。
隐藏层：对输入数据进行非线性变换，通常使用激活函数（如 Sigmoid、ReLU）。
输出层：输出网络的预测结果。

神经网络的训练目标是调整权重，使得网络输出与真实值之间的误差最小化。这一过程分为正向传播和反向传播两个阶段。

正向传播是指输入数据从输入层经过隐藏层传递到输出层的过程。每个神经元的输出由其输入加权和经过激活函数计算得到。

假设第 (l) 层的第 (j) 个神经元的输入为：
[
z_j^{(l)} = \sum_i w_{ji}^{(l)} a_i^{(l-1)} + b_j^{(l)}
]
其中，(w_{ji}^{(l)})是第 (l-1) 层第 (i) 个神经元到第 (l) 层第 (j) 个神经元的权重，(a_i^{(l-1)})是第 (l-1) 层第 (i) 个神经元的输出，(b_j^{(l)})是偏置。

神经元的输出 (a_j^{(l)}) 通过激活函数 (\sigma) 计算：
[
a_j^{(l)} = \sigma(z_j^{(l)})
]

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def forward_propagation(X, weights, biases):
    """
    X: 输入数据，形状为 (n_features, n_samples)
    weights: 权重列表，每项为当前层的权重矩阵
    biases: 偏置列表，每项为当前层的偏置向量
    """
    activations = [X]  # 存储每层的输出
    zs = []  # 存储每层的输入（加权和）for w, b in zip(weights, biases):
        z = np.dot(w, activations[-1]) + b
        a = sigmoid(z)
        zs.append(z)
        activations.append(a)

    return activations, zs

反向传播的目的是通过链式法则计算损失函数对权重和偏置的梯度，从而更新网络参数。

假设使用均方误差（MSE）作为损失函数：
[
L = \frac{1}{2} \sum_k (y_k – a_k^{(L)})^2
]
其中，(y_k)是真实值，(a_k^{(L)})是输出层的预测值。

输出层误差：
[
\delta_j^{(L)} = \frac{\partial L}{\partial a_j^{(L)}} \sigma'(z_j^{(L)}) = (a_j^{(L)} – y_j) \cdot a_j^{(L)} (1 – a_j^{(L)})
]
隐藏层误差（链式法则）：
[
\delta_j^{(l)} = \left(\sum_k w_{kj}^{(l+1)} \delta_k^{(l+1)} \right) \sigma'(z_j^{(l)})
]
梯度计算：
[
\frac{\partial L}{\partial w_{ji}^{(l)}} = a_i^{(l-1)} \delta_j^{(l)}, \quad \frac{\partial L}{\partial b_j^{(l)}} = \delta_j^{(l)}
]

def backward_propagation(X, y, activations, zs, weights):
    """
    X: 输入数据
    y: 真实标签
    activations: 正向传播的输出列表
    zs: 正向传播的加权和列表
    weights: 权重列表
    """
    gradients_w = [np.zeros(w.shape) for w in weights]
    gradients_b = [np.zeros(b.shape) for b in biases]

    # 输出层误差
    delta = (activations[-1] - y) * activations[-1] * (1 - activations[-1])
    gradients_b[-1] = delta
    gradients_w[-1] = np.dot(delta, activations[-2].T)

    # 隐藏层误差
    for l in range(2, len(weights) + 1):
        z = zs[-l]
        delta = np.dot(weights[-l+1].T, delta) * activations[-l] * (1 - activations[-l])
        gradients_b[-l] = delta
        gradients_w[-l] = np.dot(delta, activations[-l-1].T)

    return gradients_w, gradients_b