基于BP神经网络的数字识别实战：从原理到Python代码实现

1次阅读

共计 3635 个字符，预计需要花费 10 分钟才能阅读完成。

传统图像处理方法（如模板匹配）在数字识别中存在明显局限性。这些方法通常需要精确的模板对齐，对光照、旋转和缩放非常敏感。更重要的是，它们无法有效学习数字的抽象特征，导致在复杂场景下的识别准确率难以突破 90%。

BP 神经网络（Backpropagation Neural Network）通过多层非线性变换，能够自动从数据中学习特征表示。特别是对于 MNIST 这样的标准数据集，BP 网络可以轻松达到 95% 以上的准确率，经过优化后甚至能达到 98%。

在 MNIST 任务中，我们主要考虑两种网络结构：

全连接网络（Fully Connected Network）：
结构简单，易于实现
参数量较大（MNIST 28×28 图像输入层就有 784 个节点）
在 MNIST 上能达到 98% 左右的准确率
卷积神经网络（CNN）：
通过局部连接和权值共享大幅减少参数量
更适合图像的空间结构特征
在 MNIST 上通常能达到 99% 以上的准确率

对于初学者来说，全连接网络是理解神经网络原理的最佳起点。下面我们重点讲解全连接网络的实现。

MNIST 数据集包含 60,000 张训练图像和 10,000 张测试图像，每张都是 28×28 的灰度图。我们需要进行以下预处理：

import tensorflow as tf
from tensorflow.keras import layers, models

# 加载数据
(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()

# 归一化到 0 - 1 范围
train_images = train_images.reshape((60000, 28*28)).astype('float32') / 255
test_images = test_images.reshape((10000, 28*28)).astype('float32') / 255

# 标签 one-hot 编码
train_labels = tf.keras.utils.to_categorical(train_labels)
test_labels = tf.keras.utils.to_categorical(test_labels)

我们构建一个包含 1 个输入层、2 个隐藏层和 1 个输出层的网络：

model = models.Sequential([layers.Dense(512, activation='relu', input_shape=(28*28,)),
    layers.Dense(256, activation='relu'),
    layers.Dense(10, activation='softmax')
])

输入层：784 个节点（对应 28×28 像素）
第一隐藏层：512 个节点，使用 ReLU 激活函数
第二隐藏层：256 个节点，使用 ReLU 激活函数
输出层：10 个节点（对应 0 - 9 数字），使用 Softmax 激活函数

model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

history = model.fit(train_images, train_labels,
                    epochs=20,
                    batch_size=128,
                    validation_split=0.2)

import matplotlib.pyplot as plt

# 绘制训练和验证的准确率曲线
plt.plot(history.history['accuracy'], label='训练准确率')
plt.plot(history.history['val_accuracy'], label='验证准确率')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

# 绘制训练和验证的损失曲线
plt.plot(history.history['loss'], label='训练损失')
plt.plot(history.history['val_loss'], label='验证损失')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.show()

使用 ReduceLROnPlateau 回调可以在验证损失停滞时自动降低学习率：

from tensorflow.keras.callbacks import ReduceLROnPlateau

reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.2,
                              patience=3, min_lr=1e-6)

model.fit(train_images, train_labels,
          epochs=30,
          batch_size=128,
          validation_split=0.2,
          callbacks=[reduce_lr])

在激活函数前加入 BN 层可以加速训练并提高性能：

model = models.Sequential([layers.Dense(512, input_shape=(28*28,)),
    layers.BatchNormalization(),
    layers.Activation('relu'),
    layers.Dense(256),
    layers.BatchNormalization(),
    layers.Activation('relu'),
    layers.Dense(10, activation='softmax')
])

在训练过程中随机丢弃部分神经元连接：

model = models.Sequential([layers.Dense(512, activation='relu', input_shape=(28*28,)),
    layers.Dropout(0.3),
    layers.Dense(256, activation='relu'),
    layers.Dropout(0.3),
    layers.Dense(10, activation='softmax')
])

症状：网络深层参数几乎不更新，准确率停滞不前。

解决方案：

使用 ReLU 等非饱和激活函数
合理初始化权重（如 He 初始化）
添加 Batch Normalization 层

如果某些数字样本过少：

对少数类样本进行过采样
在损失函数中使用类别权重

from sklearn.utils.class_weight import compute_class_weight

class_weights = compute_class_weight('balanced',
                                    classes=np.unique(train_labels),
                                    y=train_labels)
class_weights = dict(enumerate(class_weights))

model.fit(train_images, train_labels,
          epochs=20,
          batch_size=128,
          class_weight=class_weights)

确保安装了 GPU 版本的 TensorFlow
检查 GPU 是否可用：

print("Num GPUs Available:", len(tf.config.list_physical_devices('GPU')))

尝试增加隐藏层数量和节点数，观察性能变化
将 ReLU 替换为 LeakyReLU 或 ELU，比较效果
尝试不同的优化器（如 Nadam、RMSprop）
实现早停（Early Stopping）策略防止过拟合

from tensorflow.keras.callbacks import EarlyStopping

es = EarlyStopping(monitor='val_loss', patience=5)

model.fit(train_images, train_labels,
          epochs=100,  # 设置较大值，实际会提前停止
          batch_size=128,
          validation_split=0.2,
          callbacks=[es])

通过本文的实现，我们构建了一个基于 BP 神经网络的数字识别系统，在 MNIST 测试集上达到了 98% 以上的准确率。关键点包括：