BP神经网络链式法则反向传播的工程实现与优化

1次阅读

没有评论

共计 2858 个字符，预计需要花费 8 分钟才能阅读完成。

在神经网络训练中，反向传播算法是优化模型参数的核心方法。其核心思想是通过计算损失函数对网络参数的梯度，并根据梯度方向调整参数，使得损失函数最小化。这一过程依赖于链式法则，它能有效地计算复合函数的导数。

前向传播 ：输入数据通过网络逐层传递，每一层都会应用权重和偏置，并通过激活函数产生输出。最终输出与真实标签比较，计算损失函数值。
反向传播 ：从输出层开始，反向计算损失函数对每一层参数的梯度，利用链式法则逐层传递误差信号，并更新权重和偏置。

链式法则是反向传播的核心数学工具，它允许我们高效计算复合函数的梯度。具体来说，链式法则用于分解每一层的梯度计算，使得我们可以从输出层反向传递误差信号到输入层。

输出层梯度计算 ：首先计算损失函数对输出层激活值的梯度，然后通过激活函数的导数传递到输出层的加权输入。
隐藏层梯度计算 ：对于每一隐藏层，梯度由后一层的误差信号和当前层的权重矩阵共同决定。具体来说，当前层的误差信号等于后一层的误差信号乘以权重矩阵的转置，再乘以当前层激活函数的导数。
参数更新 ：根据计算得到的梯度，使用梯度下降或其他优化算法更新权重和偏置。

以下是用 NumPy 实现 BP 神经网络反向传播的核心代码，包含详细的注释说明每一步的计算过程。

import numpy as np

# 定义激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化网络参数
input_size = 3
hidden_size = 4
output_size = 1

# 随机初始化权重和偏置
weights_input_hidden = np.random.randn(input_size, hidden_size)
weights_hidden_output = np.random.randn(hidden_size, output_size)
bias_hidden = np.zeros((1, hidden_size))
bias_output = np.zeros((1, output_size))

# 前向传播
def forward_pass(X):
    hidden_layer_input = np.dot(X, weights_input_hidden) + bias_hidden
    hidden_layer_output = sigmoid(hidden_layer_input)

    output_layer_input = np.dot(hidden_layer_output, weights_hidden_output) + bias_output
    output = sigmoid(output_layer_input)

    return hidden_layer_output, output

# 反向传播
def backward_pass(X, y, hidden_output, output, learning_rate):
    # 计算输出层误差
    error = y - output
    d_output = error * sigmoid_derivative(output)

    # 计算隐藏层误差
    error_hidden = d_output.dot(weights_hidden_output.T)
    d_hidden = error_hidden * sigmoid_derivative(hidden_output)

    # 更新权重和偏置
    weights_hidden_output += hidden_output.T.dot(d_output) * learning_rate
    weights_input_hidden += X.T.dot(d_hidden) * learning_rate
    bias_output += np.sum(d_output, axis=0, keepdims=True) * learning_rate
    bias_hidden += np.sum(d_hidden, axis=0, keepdims=True) * learning_rate

# 示例训练循环
X = np.array([[0, 0, 1], [0, 1, 1], [1, 0, 1], [1, 1, 1]])
y = np.array([[0], [1], [1], [0]])

for epoch in range(10000):
    hidden_output, output = forward_pass(X)
    backward_pass(X, y, hidden_output, output, 0.1)

    if epoch % 1000 == 0:
        print(f"Epoch {epoch}, Loss: {np.mean(np.square(y - output))}")

梯度消失和梯度爆炸是反向传播中常见的问题。梯度消失通常发生在深层网络中，由于梯度的连续乘积导致梯度趋近于零，使得参数无法更新。梯度爆炸则是梯度值变得非常大，导致参数更新不稳定。