C++计算机视觉车牌识别实战：从OpenCV到深度学习模型优化

1次阅读

共计 1942 个字符，预计需要花费 5 分钟才能阅读完成。

传统车牌识别系统在复杂环境下表现往往不尽如人意。根据我们在多个实际项目中的测试数据，这些问题主要集中在三个方面：

光照变化：强光照射下车牌反光严重，夜间低光照导致图像噪点多
倾斜角度：摄像头安装位置限制导致的视角倾斜（常见 15-45 度）
低分辨率：远距离拍摄时车牌区域可能只有 20-30 像素高

通过对比测试，我们发现传统基于 OpenCV 的解决方案在这些场景下识别准确率会从常规的 90% 下降到 60% 左右。

对比维度	OpenCV 方案	深度学习方案
开发复杂度	中等（需调参）	较高（需要训练数据）
硬件要求	CPU 即可	需要 GPU 加速
处理速度	快（10ms 级）	中等（50ms 级）
环境适应性	差	优秀
准确率	85%-90%	95%+

最终我们选择 CRNN+CTC 模型架构，原因有三：

端到端识别无需字符分割
对不定长车牌支持良好
经 TensorRT 优化后可达实时性要求

// 高斯模糊 + 自适应二值化
Mat preprocess(Mat input) {
    Mat gray, blur, binary;
    cvtColor(input, gray, COLOR_BGR2GRAY);
    GaussianBlur(gray, blur, Size(3,3), 0);
    adaptiveThreshold(blur, binary, 255, 
        ADAPTIVE_THRESH_GAUSSIAN_C, THRESH_BINARY, 11, 2);
    return binary;
}

关键改进点：

加入颜色空间过滤（HSV 提取蓝色 / 黄色区域）
多尺度检测（pyramid 下采样）
几何约束校验（长宽比 1:2-1:4）

模型转换流程：

PyTorch 训练 → ONNX 导出 → TensorRT 优化
使用 TRT 的 C ++ API 加载引擎

// TensorRT 推理示例（简化版）nvinfer1::IRuntime* runtime = ...;
std::ifstream engineFile("plate_rec.trt");
engineFile.seekg(0, std::ios::end);
size_t size = engineFile.tellg();
engineFile.seekg(0, std::ios::beg);
std::vector<char> engineData(size);
engineFile.read(engineData.data(), size);

ICudaEngine* engine = runtime->deserializeCudaEngine(engineData.data(), size);
IExecutionContext* context = engine->createExecutionContext();

graph LR
    A[图像采集] --> B[预处理]
    B --> C[定位]
    C --> D[识别]
    D --> E[结果输出]

建议采用线程池实现并行处理，典型配置：

预处理：2 线程
定位：1 线程（CPU 密集型）
识别：专用 GPU 线程

精度类型	模型大小	RTX3060 延迟	准确率
FP32	45MB	42ms	96.2%
FP16	23MB	28ms	96.1%
INT8	12MB	19ms	95.3%

建议锁定特定版本（如 4.5.5），在 CMake 中显式指定：

find_package(OpenCV 4.5.5 REQUIRED)

需特别注意：

扩充训练集包含各省份简称
对 ” 京·A12345″ 这类特殊格式单独处理
加入字符相似度惩罚（如 ”0″ 与 ”D”）

推荐使用 Valgrind 结合自定义内存跟踪：

class MemoryTracker {
public:
    void* operator new(size_t size) {void* p = malloc(size);
        allocations[p] = size;
        return p;
    }
    // 类似实现 delete 操作符...
};