C++ 高性能 ONNX 加速推理 YOLO 模型实战指南

1次阅读

没有评论

共计 2950 个字符，预计需要花费 8 分钟才能阅读完成。

在实时视频分析场景中，YOLO 模型的推理性能至关重要。原生 ONNX 推理在边缘设备上常遇到以下瓶颈：

内存拷贝开销 ：数据在 Host 和 Device 间频繁搬运，占用 30%~50% 推理时间
算子调度效率 ：默认的串行执行策略无法充分利用多核 CPU/GPU
预处理瓶颈 ：传统 OpenCV 处理管线在 ARM 设备上成为性能短板

对比 TensorRT 和 ONNX Runtime 在 Jetson Nano 上的表现：

TensorRT：
优势：极致优化，支持 FP16/INT8 量化
劣势：需要逐层手动优化，模型转换复杂
ONNX Runtime：
优势：开箱即用，支持跨平台部署
劣势：默认配置未针对边缘设备优化

实际测试显示，经过优化后的 ONNX Runtime 能达到 TensorRT 90% 的性能，但开发效率提升 3 倍。

通过 OrtMemoryInfo 实现 tensor 内存池化：

Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(
    OrtAllocatorType::OrtArenaAllocator, 
    OrtMemType::OrtMemTypeDefault);

// 预分配输入输出缓冲区
std::vector<int64_t> input_shape = {1, 3, 640, 640};
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
    memory_info, 
    input_buffer.data(), 
    input_buffer.size(), 
    input_shape.data(), 
    input_shape.size());

利用 SessionOptions 启用多线程：

Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(4);  // 算子内并行
session_options.SetInterOpNumThreads(2);  // 算子间并行
session_options.SetExecutionMode(ExecutionMode::ORT_PARALLEL);

// 针对 ARM 大核调度优化
#ifdef __ARM_NEON
session_options.AddConfigEntry("session.disable_spinning", "1");
#endif

集成 OpenCV CUDA 后端避免数据拷贝：

cv::cuda::GpuMat gpu_frame;
cv::cuda::resize(gpu_frame, gpu_frame, cv::Size(640, 640));
cv::cuda::cvtColor(gpu_frame, gpu_frame, cv::COLOR_BGR2RGB);

// 直接映射到 ONNX 输入内存
float* model_input = input_tensor.GetTensorMutableData<float>();
cv::cuda::GpuMat input_blob(640, 640, CV_32FC3, model_input);
gpu_frame.convertTo(input_blob, CV_32F, 1.0/255.0);

#include <onnxruntime_cxx_api.h>

class YOLOInfer {
public:
    YOLOInfer(const std::string& model_path) {
        // 初始化环境
        env = Ort::Env(ORT_LOGGING_LEVEL_WARNING, "YOLOv5");

        // 配置会话选项
        Ort::SessionOptions options;
        options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
        options.AppendExecutionProvider_CUDA();

        // 加载模型
        session = Ort::Session(env, model_path.c_str(), options);

        // 准备内存池
        memory_info = Ort::MemoryInfo::CreateCpu(
            OrtAllocatorType::OrtArenaAllocator, 
            OrtMemType::OrtMemTypeDefault);
    }

    cv::Mat infer(const cv::Mat& frame) {// 预处理 (GPU 加速)
        cv::cuda::GpuMat gpu_frame;
        preprocess(frame, gpu_frame);

        // 创建输入 tensor
        std::vector<int64_t> input_shape = {1, 3, 640, 640};
        Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
            memory_info, 
            input_buffer.data(), 
            input_buffer.size(), 
            input_shape.data(), 
            input_shape.size());

        // 执行推理
        const char* input_names[] = {"images"};
        const char* output_names[] = {"output"};
        auto outputs = session.Run(Ort::RunOptions{nullptr}, 
            input_names, 
            &input_tensor, 1, 
            output_names, 1);

        // 后处理
        return postprocess(outputs[0]);
    }

private:
    Ort::Env env;
    Ort::Session session;
    Ort::MemoryInfo memory_info;
    std::vector<float> input_buffer;
};

测试环境：
– Jetson Nano (4 核 ARM Cortex-A57 + 128CUDA 核心)
– ONNX Runtime 1.12.0