BP神经网络实战：Python实现手写数字识别案例与调优指南

1次阅读

没有评论

共计 1570 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络在实现过程中常面临两大核心问题：

梯度消失问题 ：当使用 Sigmoid 等饱和激活函数时，深层网络在反向传播过程中梯度会指数级衰减，导致浅层权重难以更新。
过拟合现象 ：模型在训练集表现良好但测试集准确率低，尤其在数据量不足时更为明显。

传统实现方法存在以下局限：

全批量梯度下降计算开销大
固定学习率导致收敛速度不稳定
手工实现反向传播易出现维度错误

采用 784-256-128-10 的四层网络结构
输入层对应 28×28 像素图像展平
输出层使用 Softmax 处理 10 分类问题
激活函数优化组合
隐藏层使用 ReLU 函数：$f(x)=max(0,x)$
输出层保留 Softmax 保证概率分布
训练策略改进
Mini-batch 梯度下降（batch_size=64）
交叉熵损失函数
L2 正则化系数 λ =0.01

import numpy as np
from sklearn.datasets import fetch_openml
from sklearn.preprocessing import MinMaxScaler

# 数据加载与预处理
def load_data():
    mnist = fetch_openml('mnist_784', version=1)
    X, y = mnist['data'], mnist['target']
    X = MinMaxScaler().fit_transform(X)  # 归一化到 [0,1]
    y = np.eye(10)[y.astype(int)]  # one-hot 编码
    return X[:60000], y[:60000]  # 使用标准训练集

# 网络初始化
class NeuralNetwork:
    def __init__(self, layers=[784,256,128,10]):
        self.weights = []
        for i in range(len(layers)-1):
            # He 初始化适配 ReLU
            w = np.random.randn(layers[i], layers[i+1]) * np.sqrt(2/layers[i])
            self.weights.append(w)

    # 前向传播
    def forward(self, X):
        self.z = []
        self.a = [X]
        for i, w in enumerate(self.weights):
            z = np.dot(self.a[-1], w)
            if i != len(self.weights)-1:  # 隐藏层用 ReLU
                a = np.maximum(0, z)
            else:  # 输出层用 Softmax
                a = np.exp(z) / np.sum(np.exp(z), axis=1, keepdims=True)
            self.z.append(z)
            self.a.append(a)
        return self.a[-1]

    # 反向传播（完整实现需补充）def backward(self, X, y, lr=0.01):
        ...