深入解析BP算法：正向传播与反向传播的实现原理与优化实践

1次阅读

没有评论

共计 2428 个字符，预计需要花费 7 分钟才能阅读完成。

BP（Backpropagation）算法是训练神经网络的核心方法，通过不断调整网络权重来最小化预测误差。它的核心思想可以概括为两个阶段：

正向传播：输入数据从输入层流向输出层，逐层计算并得到预测结果
反向传播：根据预测误差，从输出层反向计算梯度并逐层调整权重参数

这种迭代优化过程使得神经网络能够 ” 学习 ” 输入与输出之间的复杂映射关系。

正向传播是 BP 算法的第一阶段，主要完成以下计算步骤：

输入层到隐藏层 的计算公式：
$$z^{(1)} = W^{(1)}x + b^{(1)}$$
$$a^{(1)} = f(z^{(1)})$$
隐藏层到输出层 的计算：
$$z^{(2)} = W^{(2)}a^{(1)} + b^{(2)}$$
$$a^{(2)} = f(z^{(2)})$$

其中，$f$ 是激活函数，常见选择有：

Sigmoid：$\sigma(z) = \frac{1}{1+e^{-z}}$
ReLU：$f(z) = max(0,z)$
Tanh：$f(z) = \frac{e^z – e^{-z}}{e^z + e^{-z}}$

激活函数的选择直接影响网络的训练效果：

Sigmoid 容易导致梯度消失问题
ReLU 计算简单但可能出现 ” 神经元死亡 ”
Tanh 输出范围(-1,1)，适合某些特定场景

反向传播的核心是链式求导法则，计算损失函数对各层参数的梯度：

输出层误差：
$$\delta^{(2)} = (a^{(2)} – y) \odot f'(z^{(2)})$$
隐藏层误差：
$$\delta^{(1)} = (W^{(2)T}\delta^{(2)}) \odot f'(z^{(1)})$$
参数更新：
$$\frac{\partial J}{\partial W^{(2)}} = \delta^{(2)}a^{(1)T}$$
$$\frac{\partial J}{\partial b^{(2)}} = \delta^{(2)}$$
$$\frac{\partial J}{\partial W^{(1)}} = \delta^{(1)}x^T$$
$$\frac{\partial J}{\partial b^{(1)}} = \delta^{(1)}$$

其中 $\odot$ 表示逐元素相乘，$J$ 是损失函数。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_derivative(self, z):
        s = self.sigmoid(z)
        return s * (1 - s)

    def forward(self, X):
        # 正向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        m = X.shape[0]  # 样本数量

        # 反向传播
        delta2 = (self.a2 - y) * self.sigmoid_derivative(self.z2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.z1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0, keepdims=True) / m

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1

解决方案包括：

权重初始化：
Xavier 初始化：$W \sim N(0, \sqrt{\frac{2}{n_{in}+n_{out}}})$
He 初始化：$W \sim N(0, \sqrt{\frac{2}{n_{in}}})$
批量归一化：
$$\hat{x} = \frac{x – \mu}{\sqrt{\sigma^2 + \epsilon}}$$
$$y = \gamma \hat{x} + \beta$$