BP神经网络模式识别结构图详解：从理论到实践入门指南

1次阅读

共计 1391 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络通过误差反向传播机制自动调整权重，成为模式识别任务中逼近非线性映射的利器。其分层结构可逐级提取特征，最终实现从原始输入到类别标签的端到端学习。相较于传统算法，BP 网络对图像、语音等复杂数据的分类表现尤为突出。

输入层 ：神经元数量等于特征维度（如 MNIST 的 28×28 图像展平为 784 维）
隐藏层 ：通常按 $N_{hidden}=\sqrt{N_{input}+N_{output}}+(2\sim4)$ 设置初始值
输出层 ：神经元数量对应类别数（如 10 分类任务需 10 个输出神经元）

graph LR
    A[输入层] -->| 权重 W1| B[隐藏层]
    B -->| 权重 W2| C[输出层]
    C --> D[误差计算]
    D -.->| 梯度传播 | B
    B -.->| 梯度传播 | A

图中实线箭头表示前向传播，虚线箭头表示反向传播过程。

import numpy as np

class BPNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 权重矩阵维度说明：W1[input_size x hidden_size]
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

from sklearn.datasets import fetch_openml
from sklearn.preprocessing import MinMaxScaler

mnist = fetch_openml('mnist_784')
X = MinMaxScaler().fit_transform(mnist.data)  # 归一化到 [0,1]
y = np.eye(10)[mnist.target.astype(int)]      # 标签 one-hot 编码

初始学习率建议设为 $\eta=0.1$，采用指数衰减：$\eta_t = \eta_0 \times 0.95^t$
当出现梯度消失时，可改用 ReLU 激活函数：$f(x)=\max(0,x)$

def softmax(x):
    exps = np.exp(x - np.max(x))
    return exps / np.sum(exps, axis=1, keepdims=True)

def cross_entropy(y_true, y_pred):
    return -np.mean(y_true * np.log(y_pred + 1e-15))