深入解析BP神经网络：正向传播与反向传播的实现原理与优化实践

1次阅读

共计 1407 个字符，预计需要花费 4 分钟才能阅读完成。

神经网络是一种模仿生物神经系统结构和功能的计算模型。它由多个相互连接的神经元组成，能够通过学习数据中的模式来完成各种任务。BP 神经网络（Backpropagation Neural Network）是最基础的前馈神经网络之一，其核心在于通过正向传播计算输出，再通过反向传播调整权重。

正向传播是指输入数据从输入层经过隐藏层最终到达输出层的过程。每个神经元接收前一层神经元的输出，通过权重和偏置进行线性组合，再经过激活函数得到最终输出。

数学公式表示如下：

线性组合：
$$ z_j = \sum_i w_{ji}x_i + b_j $$
激活函数：
$$ a_j = f(z_j) $$

反向传播是通过链式法则计算损失函数对每个权重的梯度，然后使用梯度下降法更新权重。关键步骤如下：

计算输出层误差：
$$ \delta_j = (y_j – a_j)f'(z_j) $$
计算隐藏层误差：
$$ \delta_j = f'(z_j)\sum_k w_{kj}\delta_k $$
更新权重和偏置：
$$ w_{ji} = w_{ji} – \eta \delta_j a_i $$
$$ b_j = b_j – \eta \delta_j $$

import numpy as np

# Sigmoid 激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化网络参数
input_size = 3
hidden_size = 4
output_size = 1
learning_rate = 0.1

# 随机初始化权重
W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)

# 正向传播
def forward_propagation(X):
    z1 = np.dot(X, W1)
    a1 = sigmoid(z1)
    z2 = np.dot(a1, W2)
    a2 = sigmoid(z2)
    return a1, a2

# 反向传播
def backward_propagation(X, y, a1, a2):
    # 计算输出层误差
    delta2 = (a2 - y) * sigmoid_derivative(a2)

    # 计算隐藏层误差
    delta1 = np.dot(delta2, W2.T) * sigmoid_derivative(a1)

    # 更新权重
    W2 -= learning_rate * np.dot(a1.T, delta2)
    W1 -= learning_rate * np.dot(X.T, delta1)