C++ 高性能 ONNX 加速推理 YOLO 模型实战指南

1次阅读

没有评论

共计 2696 个字符，预计需要花费 7 分钟才能阅读完成。

在实时视频分析场景中，YOLO 模型的推理延迟直接影响业务可用性。原生 ONNX Runtime 直接使用时存在以下典型瓶颈：

内存拷贝开销 ：传统流程中，OpenCV 读取的帧数据需要从 CPU 内存拷贝到推理输入张量（Tensor），后处理结果又需拷贝回 CPU，这种 H2D/D2H 传输在 1080p 视频中可占 30% 耗时
算子调度效率 ：默认的并行策略可能引发线程争抢，特别是当处理连续视频帧时，框架层级的线程切换成本会被放大
动态轴陷阱 ：直接导出的 ONNX 模型若包含动态维度（如 batch= 动态 ），会阻止 ONNX Runtime 应用图优化（Graph Optimization）

边缘设备部署常见两种方案：

TensorRT：
优势：极致优化，支持 FP16/INT8 量化
劣势：需要额外转换步骤，模型兼容性依赖 TRT 版本
ONNX Runtime：
优势：直接运行 ONNX 模型，跨平台一致性高
劣势：需要手动优化才能接近 TensorRT 性能

对于快速迭代的业务场景，我们选择 ONNX Runtime 因其具备：

无需模型再转换的部署敏捷性
支持动态批处理（Dynamic Batching）
可扩展的 EP（Execution Provider）机制

通过 OrtMemoryInfo 创建自定义内存分配器：

Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(
    OrtAllocatorType::OrtArenaAllocator, 
    OrtMemType::OrtMemTypeDefault);

// 输入输出 tensor 复用同一块内存
std::vector<int64_t> input_shape = {1, 3, 640, 640};
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
    memory_info, 
    input_buffer.data(), 
    input_buffer.size(), 
    input_shape.data(), 
    input_shape.size());

在 SessionOptions 中绑定 CPU 核心：

Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(4);  // 算子内并行
session_options.SetInterOpNumThreads(2);  // 算子间并行
session_options.SetExecutionMode(ExecutionMode::ORT_PARALLEL);

// 对于 ARM 大核设备
session_options.AddConfigEntry("session.set_denormal_as_zero", "1");  // 避免 NEON 慢速路径

利用 OpenCV 的 CUDA 后端实现：

cv::cuda::GpuMat gpu_frame;
cv::cuda::resize(gpu_frame, gpu_resized, 
    cv::Size(640, 640), 0, 0, cv::INTER_LINEAR);

// 直接在 GPU 内存执行颜色转换和归一化
cv::cuda::cvtColor(gpu_resized, gpu_normalized, 
    cv::COLOR_BGR2RGB);
gpu_normalized.convertTo(gpu_float, CV_32FC3, 1.0/255.0);

// 将 CUDA 内存指针传递给 ONNX Runtime
Ort::MemoryInfo cuda_mem_info = 
    Ort::MemoryInfo::CreateCuda(OrtDeviceAllocator, OrtMemTypeDefault);

Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "YOLOv5");
Ort::Session session(env, "yolov5s.onnx", session_options);

// 获取输入输出信息
Ort::AllocatorWithDefaultOptions allocator;
Ort::TypeInfo input_type_info = session.GetInputTypeInfo(0);
Ort::TensorTypeAndShapeInfo input_tensor_info = 
    input_type_info.GetTensorTypeAndShapeInfo();

void RunInference(cv::Mat& frame) {
    // GPU 预处理（零拷贝）PreprocessWithCUDA(frame);

    // 执行推理
    Ort::RunOptions run_options;
    session.Run(run_options, 
        input_names.data(), &input_tensor, 1,
        output_names.data(), &output_tensor, 1);

    // CUDA 后处理
    PostprocessWithNMS(output_tensor);
}

测试环境：
– x86 平台 ：Intel i7-11800H, 32GB DDR4
– ARM 平台 ：NVIDIA Jetson Nano 4GB