BP神经网络算法流程图解析：从数学原理到实现细节

1次阅读

没有评论

共计 2497 个字符，预计需要花费 7 分钟才能阅读完成。

BP（Back Propagation）神经网络是一种多层前馈网络，通过误差反向传播算法进行训练。其核心思想是利用梯度下降法，通过链式法则计算损失函数对各层参数的梯度，并据此调整网络权重。

神经网络的基本组成单元是神经元，每个神经元接收输入信号，通过加权求和后经过激活函数处理得到输出。多层神经元按特定结构连接，形成输入层、隐藏层和输出层。

前向传播是指输入信号从输入层经隐藏层向输出层传递的过程。对于第 l 层的第 j 个神经元，其输入为：

$$net_j^l = \sum_{i}w_{ji}^l y_i^{l-1} + b_j^l$$

其中 $w_{ji}^l$ 是连接权重，$b_j^l$ 是偏置项，$y_i^{l-1}$ 是上一层神经元的输出。经过激活函数 $f$ 处理后得到输出：

$$y_j^l = f(net_j^l)$$

反向传播是通过计算损失函数对参数的梯度来调整网络权重的过程。对于输出层神经元，其误差项为：

$$\delta_j^L = (y_j^L – t_j)f'(net_j^L)$$

对于隐藏层神经元，误差项通过链式法则向后传播：

$$\delta_j^l = f'(net_j^l)\sum_k w_{kj}^{l+1}\delta_k^{l+1}$$

最终权重更新公式为：

$$w_{ji}^l \leftarrow w_{ji}^l – \eta \delta_j^l y_i^{l-1}$$

初始化：随机初始化网络权重和偏置
前向传播：计算各层输出直至最终输出
计算损失：比较输出与真实值的误差
反向传播：从输出层开始逐层计算误差项
参数更新：根据误差项和学习率调整权重
终止条件：达到最大迭代次数或误差小于阈值

import numpy as np

class BPNeuralNetwork:
    def __init__(self, layers):
        """
        网络初始化
        :param layers: 网络结构，如 [2,3,1] 表示 2 输入 1 输出，1 个 3 神经元隐藏层
        """
        self.layers = layers
        self.weights = [np.random.randn(y, x) for x, y in zip(layers[:-1], layers[1:])]
        self.biases = [np.random.randn(y, 1) for y in layers[1:]]

    def sigmoid(self, z):
        """Sigmoid 激活函数"""
        return 1.0/(1.0 + np.exp(-z))

    def sigmoid_prime(self, z):
        """Sigmoid 导数"""
        return self.sigmoid(z)*(1-self.sigmoid(z))

    def forward(self, x):
        """前向传播"""
        for w, b in zip(self.weights, self.biases):
            x = self.sigmoid(np.dot(w, x) + b)
        return x

    def train(self, training_data, epochs, eta):
        """训练过程"""
        for epoch in range(epochs):
            for x, y in training_data:
                # 前向传播
                activation = x
                activations = [x]  # 存储各层输出
                zs = []  # 存储各层加权输入
                for w, b in zip(self.weights, self.biases):
                    z = np.dot(w, activation) + b
                    zs.append(z)
                    activation = self.sigmoid(z)
                    activations.append(activation)

                # 反向传播
                delta = (activations[-1] - y) * self.sigmoid_prime(zs[-1])
                nabla_w = [np.zeros(w.shape) for w in self.weights]
                nabla_b = [np.zeros(b.shape) for b in self.biases]
                nabla_w[-1] = np.dot(delta, activations[-2].T)
                nabla_b[-1] = delta

                for l in range(2, len(self.layers)):
                    z = zs[-l]
                    sp = self.sigmoid_prime(z)
                    delta = np.dot(self.weights[-l+1].T, delta) * sp
                    nabla_w[-l] = np.dot(delta, activations[-l-1].T)
                    nabla_b[-l] = delta

                # 参数更新
                self.weights = [w-(eta*nw) for w, nw in zip(self.weights, nabla_w)]
                self.biases = [b-(eta*nb) for b, nb in zip(self.biases, nabla_b)]

学习率 $\eta$ 决定了参数更新的步长。过大会导致震荡甚至发散，过小则收敛缓慢。常用策略包括：