BP神经网络算法流程图解析：从数学原理到实现细节

1次阅读

共计 1846 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是一种多层前馈神经网络，其核心是通过误差反向传播算法来调整网络权重。网络通常由输入层、隐藏层和输出层组成，每层包含若干神经元。神经元之间的连接权重决定了信号传递的强度。

神经网络的训练过程可分为两个阶段：

前向传播（Forward Propagation）：输入数据从输入层经过隐藏层传递到输出层，计算预测值
反向传播（Backward Propagation）：根据预测值与真实值的误差，从输出层反向传播误差信号，调整各层权重

BP 神经网络的完整训练流程可以用以下关键节点表示：

网络初始化
前向传播计算
输入层→隐藏层计算
隐藏层→输出层计算
误差计算
反向传播
输出层误差计算
隐藏层误差计算
权重更新
重复迭代直到收敛

import numpy as np

class BPNN:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重矩阵
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, x):
        # Sigmoid 激活函数
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        # Sigmoid 导数
        return x * (1 - x)

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        # 反向传播
        m = X.shape[0]  # 样本数量

        # 输出层误差
        self.a2_error = self.a2 - y
        self.a2_delta = self.a2_error * self.sigmoid_derivative(self.a2)

        # 隐藏层误差
        self.a1_error = np.dot(self.a2_delta, self.W2.T)
        self.a1_delta = self.a1_error * self.sigmoid_derivative(self.a1)

        # 权重更新
        self.W2 -= learning_rate * np.dot(self.a1.T, self.a2_delta) / m
        self.b2 -= learning_rate * np.sum(self.a2_delta, axis=0) / m
        self.W1 -= learning_rate * np.dot(X.T, self.a1_delta) / m
        self.b1 -= learning_rate * np.sum(self.a1_delta, axis=0) / m

    def train(self, X, y, epochs, learning_rate):
        for i in range(epochs):
            output = self.forward(X)
            self.backward(X, y, learning_rate)

学习率是影响模型收敛的关键超参数：