BP神经网络身份证识别：从零搭建高精度OCR模型

1次阅读

没有评论

共计 2652 个字符，预计需要花费 7 分钟才能阅读完成。

传统 OCR 技术在处理身份证时经常遇到这些头疼问题：

背景复杂（比如手持身份证的照片有手指遮挡）
光照不均导致部分文字区域反光
低分辨率图像中数字 7 和 1 容易混淆
倾斜拍摄时文字变形

用 OpenCV 的模板匹配方法，我在测试集上最高只能达到 82% 的准确率。特别是当身份证有 10 度以上倾斜时，识别率直接掉到 60% 以下。

对比了三种主流的深度学习方法：

CNN 卷积网络
在 kaggle 竞赛中表现最好，但需要至少 10 万张训练样本才能发挥优势。对我们这种个人开发者来说数据获取成本太高。
Transformer
虽然在新出的 TrOCR 论文里效果惊艳，但训练需要 16GB 显存起步，我的 GTX1060 显卡根本跑不动。
BP 神经网络
计算量只有 CNN 的 1 /5，在 1 万张样本下就能达到不错效果。通过设计合理的隐藏层，完全可以满足身份证这种固定版式的识别需求。

最终选择三隐藏层的 BP 结构，在保证精度的前提下训练时间控制在 2 小时以内（使用 Colab 免费 GPU）。

用 OpenCV 处理原始图像：

import cv2

def preprocess(img):
    # 1. 灰度化 + 自适应二值化
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    thresh = cv2.adaptiveThreshold(gray, 255, 
                                  cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
                                  cv2.THRESH_BINARY_INV, 11, 2)

    # 2. 透视矫正（解决倾斜问题）contours, _ = cv2.findContours(thresh, 
                                 cv2.RETR_EXTERNAL,
                                 cv2.CHAIN_APPROX_SIMPLE)
    largest = max(contours, key=cv2.contourArea)
    rect = cv2.minAreaRect(largest)
    box = cv2.boxPoints(rect)

    # 3. 归一化到 28x28 像素
    warped = four_point_transform(img, box) 
    resized = cv2.resize(warped, (28, 28))
    return resized

考虑到身份证字符的复杂度，采用如下结构：

输入层：28×28=784 个神经元（对应归一化后的像素）
隐藏层 1：512 个神经元（ReLU 激活）
隐藏层 2：256 个神经元（ReLU 激活）
隐藏层 3：128 个神经元（ReLU 激活）
输出层：62 个神经元（Softmax 激活，对应 10 数字 +26 字母×2 大小写）

选择 ReLU 而不是 Sigmoid 的原因：

计算梯度时不会出现饱和现象（梯度消失问题）
稀疏激活特性更适合我们的任务
训练速度比 Sigmoid 快约 6 倍（实测数据）

使用交叉熵损失配合 L2 正则化：

$$L = -\frac{1}{N}\sum_{i=1}^N \sum_{j=1}^{62} y_{ij}\log(p_{ij}) + \lambda||W||^2$$

其中 $\lambda$ 设为 0.001 防止过拟合。

import tensorflow as tf
from tensorflow.keras import layers

# 数据增强
train_datagen = tf.keras.preprocessing.image.ImageDataGenerator(
    rotation_range=15,  # 随机旋转±15 度
    width_shift_range=0.1,  # 水平平移
    height_shift_range=0.1,
    zoom_range=0.1,
    fill_mode='nearest')

# 网络结构
model = tf.keras.Sequential([layers.Flatten(input_shape=(28, 28)),
    layers.Dense(512, activation='relu'),
    layers.Dropout(0.2),
    layers.Dense(256, activation='relu'),
    layers.Dropout(0.2),
    layers.Dense(128, activation='relu'),
    layers.Dense(62, activation='softmax')
])

# 动态学习率
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate=0.001,
    decay_steps=10000,
    decay_rate=0.9)

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=lr_schedule),
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 类别加权解决样本不平衡
class_weight = {
    0: 1.5,  # 数字 0 出现频率低
    1: 1.2,  # 数字 1 易混淆
    ...
}

model.fit(train_datagen.flow(x_train, y_train, batch_size=32),
          epochs=50,
          class_weight=class_weight)

身份证号码中数字 1 - 9 的出现频率远高于字母 X（用于校验位）。我的解决方案：