深入解析BPNN反向传播机制：梯度计算与权重调整的核心原理

1次阅读

共计 1468 个字符，预计需要花费 4 分钟才能阅读完成。

BPNN（反向传播神经网络）是一种经典的前馈神经网络，其核心在于通过反向传播算法调整网络权重，使模型能够从数据中学习。反向传播的作用是根据预测误差，从输出层向输入层逐层调整权重，从而最小化损失函数。

前向传播 ：输入数据经过各层权重和激活函数，最终得到预测输出。
误差计算 ：使用损失函数（如均方误差）计算预测值与真实值的差异。
反向传播 ：通过链式法则，从输出层向输入层逐层计算梯度。
输出层梯度：∂E/∂y * ∂y/∂z，其中 E 是误差，y 是输出，z 是激活前的值。
隐藏层梯度：∂E/∂h = Σ(∂E/∂y * ∂y/∂z * ∂z/∂h)，其中 h 是隐藏层输出。
权重更新 ：使用梯度下降法调整权重，公式为 w_new = w_old – η * ∂E/∂w，其中 η 是学习率。

import numpy as np

# 定义激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化网络参数
input_size = 3
hidden_size = 4
output_size = 1
learning_rate = 0.1

# 随机初始化权重
W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)

# 训练数据
X = np.array([[0, 0, 1], [0, 1, 1], [1, 0, 1], [1, 1, 1]])
y = np.array([[0], [1], [1], [0]])

# 训练过程
for epoch in range(10000):
    # 前向传播
    hidden_layer = sigmoid(np.dot(X, W1))
    output_layer = sigmoid(np.dot(hidden_layer, W2))

    # 计算误差
    error = y - output_layer

    # 反向传播
    d_output = error * sigmoid_derivative(output_layer)
    error_hidden = d_output.dot(W2.T)
    d_hidden = error_hidden * sigmoid_derivative(hidden_layer)

    # 更新权重
    W2 += hidden_layer.T.dot(d_output) * learning_rate
    W1 += X.T.dot(d_hidden) * learning_rate

print("Final output:", output_layer)

梯度消失 ：当激活函数的导数过小（如 sigmoid），梯度在反向传播时会逐渐消失，导致深层网络难以训练。解决方案包括使用 ReLU 等激活函数，或使用残差连接。
梯度爆炸 ：当权重初始化过大，梯度可能在反向传播时指数级增长。解决方案包括梯度裁剪或权重正则化。
局部最优 ：梯度下降可能陷入局部最优。解决方案包括使用动量法或 Adam 优化器。