C++ CPU 环境下 ONNX 加速 YOLO 推理实战：从模型加载到性能调优

1次阅读

共计 2137 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，YOLO 系列模型因其高效的实时目标检测能力而广受欢迎。然而，在实际部署时，尤其是在资源受限的 CPU 环境下，推理速度和资源占用往往成为瓶颈。与 GPU 方案相比，CPU 推理虽然成本更低、兼容性更好，但在延迟和吞吐量方面存在明显劣势。

选择 ONNX Runtime 作为推理引擎，主要基于以下考量：

跨平台兼容性 ：支持 Windows/Linux/macOS，无需针对不同硬件定制
轻量高效 ：专为生产环境优化，比原生 PyTorch 推理快 2-3 倍
量化支持 ：提供 int8 量化工具链，显著降低内存占用
多语言绑定 ：C++/Python/C# 等主流语言支持完善

对比 TensorRT（依赖 NVIDIA GPU）和 OpenVINO（Intel 硬件优化），ONNX Runtime 在纯 CPU 场景下展现出更好的通用性和易用性。

确保 PyTorch 模型处于 eval 模式
准备符合输入尺寸的虚拟张量
指定动态维度（如 batch 维度）
验证输出节点名称

# 示例转换代码
torch.onnx.export(
    model, 
    dummy_input,
    "yolov5s.onnx",
    input_names=["images"],
    output_names=["output"],
    dynamic_axes={"images": {0: "batch"}, "output": {0: "batch"}}
)

初始化环境
创建会话选项
加载模型
构建输入 / 输出容器
执行推理

// 初始化环境
Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "YOLOInference");

// 配置会话选项
Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(4);  // 设置并行线程数

// 加载模型
Ort::Session session(env, "yolov5s.onnx", session_options);

// 获取输入输出信息
auto input_info = session.GetInputTypeInfo(0);
auto output_info = session.GetOutputTypeInfo(0);

使用 ONNX Runtime 的量化工具生成 int8 模型
校准数据集准备
验证量化后精度损失

python -m onnxruntime.tools.quant_preprocess \
    --input yolov5s.onnx \
    --output yolov5s_quant.onnx \
    --calibrate_dataset calibration_images/

启用 Arena 内存池
复用输入 / 输出张量
预分配内存缓冲区

Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(
    OrtAllocatorType::OrtArenaAllocator, 
    OrtMemType::OrtMemTypeDefault
);

// 预分配输入张量
std::vector<int64_t> input_shape = {1, 3, 640, 640};
std::vector<float> input_data(1*3*640*640);
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
    memory_info,
    input_data.data(),
    input_data.size(),
    input_shape.data(),
    input_shape.size());

动态维度未正确设置导致推理失败
自定义算子未注册
ONNX 版本不兼容（建议使用 opset=12）

每个线程使用独立 Session
避免跨线程共享 Ort::Value
使用锁保护共享资源

auto start = std::chrono::high_resolution_clock::now();

// 执行推理
session.Run(Ort::RunOptions{nullptr}, 
    input_names.data(), &input_tensor, 1,
    output_names.data(), &output_tensor, 1);

auto end = std::chrono::high_resolution_clock::now();
std::chrono::duration<double> diff = end - start;
std::cout << "Inference time:" << diff.count() << "s\n";