BPNN反向传播算法实战：梯度计算与权重调整的核心实现

1次阅读

共计 1612 个字符，预计需要花费 5 分钟才能阅读完成。

反向传播神经网络（BPNN）是深度学习的基础，其核心思想是通过反向传播误差信号来调整网络权重。但在实际实现中，开发者常会遇到几个典型问题：

梯度消失 ：深层网络中，梯度在反向传播过程中可能逐渐变小，导致底层权重更新缓慢甚至停滞。
计算效率 ：全批量梯度下降需要处理整个数据集，内存消耗大且计算时间长。
数值稳定性 ：不当的权重初始化或学习率设置可能导致计算溢出或梯度爆炸。

反向传播的核心是链式法则。对于输出层的某个神经元，其误差项 δ 计算为：

δ = (y_pred - y_true) * f'(z)

其中 f'(z) 是激活函数的导数。对于隐藏层的神经元，误差项通过后一层的误差反向传播得到：

δ_l = (W_{l+1}^T δ_{l+1}) ⊙ f'(z_l)

前向传播计算各层输出
计算输出层误差
反向传播误差到各隐藏层
计算各层权重梯度
更新权重：W = W – η * ∇W

import numpy as np

class BPNN:
    def __init__(self, input_size, hidden_size, output_size):
        # He 初始化
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(2/input_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(2/hidden_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_deriv(self, x):
        return x * (1 - x)

    def forward(self, X):
        self.z1 = np.dot(X, self.W1)
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        # 输出层误差
        delta2 = (self.a2 - y) * self.sigmoid_deriv(self.a2)
        dW2 = np.dot(self.a1.T, delta2)

        # 隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_deriv(self.a1)
        dW1 = np.dot(X.T, delta1)

        # 更新权重
        self.W2 -= learning_rate * dW2
        self.W1 -= learning_rate * dW1