BP神经网络概述：从数学原理到Python实现

1次阅读

没有评论

共计 2361 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Back Propagation Neural Network）是一种常见的人工神经网络，广泛应用于分类、回归、模式识别等任务。它的优势在于能够通过训练自动学习输入和输出之间的复杂非线性关系。

应用场景 ：手写数字识别、语音识别、金融预测等
核心优势 ：
无需手动设计特征，自动学习特征表示
可以逼近任意复杂的非线性函数
具有强大的容错能力

BP 神经网络通常由输入层、隐藏层和输出层组成。每一层包含多个神经元，相邻层的神经元全连接。

前向传播是数据从输入层流向输出层的过程。对于第 l 层的第 j 个神经元，其输出为：

$$
a_j^l = \sigma(z_j^l) = \sigma\left(\sum_{i}w_{ji}^l a_i^{l-1} + b_j^l\right)
$$

其中：
– $\sigma$ 是激活函数（如 Sigmoid）
– $w_{ji}^l$ 是第 l - 1 层第 i 个神经元到第 l 层第 j 个神经元的连接权重
– $b_j^l$ 是偏置项

反向传播通过链式法则计算损失函数对各参数的梯度：

$$
\frac{\partial L}{\partial w_{ji}^l} = \frac{\partial L}{\partial z_j^l} \cdot \frac{\partial z_j^l}{\partial w_{ji}^l} = \delta_j^l \cdot a_i^{l-1}
$$

其中误差项 $\delta_j^l$ 的计算为：

对于输出层：
$$
\delta_j^L = \frac{\partial L}{\partial a_j^L} \cdot \sigma'(z_j^L)
$$

对于隐藏层：
$$
\delta_j^l = \left(\sum_{k}w_{kj}^{l+1} \delta_k^{l+1}\right) \cdot \sigma'(z_j^l)
$$

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        # 反向传播
        m = X.shape[0]

        # 输出层误差
        delta2 = (self.a2 - y) * self.sigmoid_derivative(self.a2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        # 隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.a1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0, keepdims=True) / m

        # 更新权重
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1

    def train(self, X, y, epochs, learning_rate):
        for i in range(epochs):
            output = self.forward(X)
            self.backward(X, y, learning_rate)

原因：当使用 Sigmoid 等激活函数时，其导数在两端区域接近于 0，导致反向传播时梯度越来越小。

解决方案 ：
– 使用 ReLU 等激活函数
– 使用批量归一化 (Batch Normalization)
– 采用残差连接

原因：模型过于复杂，学习到了训练数据中的噪声。

解决方案 ：
– 使用 L1/L2 正则化
– 添加 Dropout 层
– 获取更多训练数据
– 使用早停 (Early Stopping)