从零实现bp神经网络手写数字识别：原理详解与Python实战

1次阅读

共计 1845 个字符，预计需要花费 5 分钟才能阅读完成。

手写数字识别是计算机视觉领域最经典的入门任务之一，广泛应用于银行支票处理、邮政分拣等场景。MNIST 数据集包含 60000 张 28×28 像素的手写数字图片，是验证机器学习算法的标准测试平台。传统方法依赖特征工程，而神经网络通过自动学习特征显著提升了识别准确率。

BP 神经网络由输入层、隐藏层和输出层组成，核心是通过前向传播计算预测值，再通过反向传播调整权重。我们用数学公式描述这个过程：

前向传播：
隐藏层输出：$h = \sigma(W_1x + b_1)$
输出层结果：$y = \text{softmax}(W_2h + b_2)$
反向传播：
输出层梯度：$\delta_2 = y – \text{true_label}$
隐藏层梯度：$\delta_1 = (W_2^T \delta_2) \odot \sigma'(z_1)$
参数更新：$W \leftarrow W – \eta \delta x^T$

import numpy as np
from sklearn.datasets import fetch_openml

# 数据加载与预处理
mnist = fetch_openml('mnist_784', version=1)
X = mnist.data / 255.0  # 归一化
y = np.eye(10)[mnist.target.astype(int)]  # one-hot 编码

# 网络参数初始化
input_size = 784
hidden_size = 128
output_size = 10
W1 = np.random.randn(input_size, hidden_size) * 0.01
b1 = np.zeros(hidden_size)
W2 = np.random.randn(hidden_size, output_size) * 0.01
b2 = np.zeros(output_size)

# 激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 训练过程
learning_rate = 0.1
epochs = 50
batch_size = 64

for epoch in range(epochs):
    for i in range(0, len(X), batch_size):
        # 前向传播
        X_batch = X[i:i+batch_size]
        h = sigmoid(np.dot(X_batch, W1) + b1)
        y_pred = np.dot(h, W2) + b2

        # 计算损失（交叉熵）loss = -np.mean(y[i:i+batch_size] * np.log(y_pred))

        # 反向传播
        dy = y_pred - y[i:i+batch_size]
        dW2 = np.dot(h.T, dy)
        db2 = np.sum(dy, axis=0)
        dh = np.dot(dy, W2.T) * sigmoid_derivative(h)
        dW1 = np.dot(X_batch.T, dh)
        db1 = np.sum(dh, axis=0)

        # 参数更新
        W1 -= learning_rate * dW1
        b1 -= learning_rate * db1
        W2 -= learning_rate * dW2
        b2 -= learning_rate * db2