BP神经网络算法流程图解析与工程实现指南

1次阅读

共计 1673 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络在工程应用中常遇到三个典型问题：

梯度消失 ：在深层网络中，梯度回传时逐层衰减，导致底层参数难以更新。例如在时序预测任务中，LSTM 层数超过 5 层时可能出现输出层梯度仅为输入层的 1 /1000
过拟合 ：当训练数据不足时，网络会记住样本噪声。我们在电商评论情感分析项目中，发现准确率在验证集上比训练集低 15%
参数敏感 ：学习率选择不当会导致震荡或收敛慢。某医疗影像分类项目中，学习率 0.1 时损失值在±0.5 间振荡，调整为 0.01 后稳定下降

graph TD
    A[输入层] -->| 权重 W1| B(隐藏层 1)
    B -->|ReLU 激活 | C[隐藏层 1 输出]
    C -->| 权重 W2| D(输出层)
    D -->|Softmax| E[预测值]
    E --> F[计算交叉熵损失]
    F --> G[反向传播]
    G --> H[更新 W2]
    H --> I[反向传播至隐藏层]
    I --> J[更新 W1]

关键步骤数学原理：

前向传播：$h_1 = ReLU(W_1^Tx + b_1)$
损失计算：$L = -\frac{1}{N}\sum y_i\log(\hat{y_i})$
反向传播：$\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial h_1}\cdot \frac{\partial h_1}{\partial W_1}$

import numpy as np

class BPNetwork:
    def __init__(self, input_dim, hidden_dim):
        # Xavier 初始化
        self.W1 = np.random.randn(input_dim, hidden_dim) * np.sqrt(2./input_dim)
        self.W2 = np.random.randn(hidden_dim, 1) * np.sqrt(2./hidden_dim)
        self.b1 = np.zeros(hidden_dim)
        self.momentum_W1 = np.zeros_like(self.W1)  # 动量项

    def relu(self, x):
        return np.maximum(0, x)

    def forward(self, x):
        self.h1_in = x.dot(self.W1) + self.b1
        self.h1_out = self.relu(self.h1_in)
        return self.h1_out.dot(self.W2)

    def backward(self, x, y, lr=0.01, gamma=0.9):
        # 反向传播计算梯度
        grad_out = (self.forward(x) - y) / len(x)
        grad_W2 = self.h1_out.T.dot(grad_out)

        grad_h1 = grad_out.dot(self.W2.T)
        grad_h1[self.h1_in <= 0] = 0  # ReLU 梯度截断
        grad_W1 = x.T.dot(grad_h1)

        # 带动量的参数更新
        self.momentum_W1 = gamma * self.momentum_W1 + lr * grad_W1
        self.W1 -= self.momentum_W1
        self.W2 -= lr * grad_W2

在 MNIST 数据集上测试不同优化器效果：