C++中使用ONNX Runtime GPU版进行高效模型部署推理：从环境配置到性能优化

共计 2480 个字符，预计需要花费 7 分钟才能阅读完成。

背景与痛点

在 C ++ 项目中部署深度学习模型时，开发者常面临几个典型问题：

• GPU 利用率低 ：原生框架如 PyTorch 直接导出的模型在 C ++ 端运行时，往往无法充分利用 GPU 计算资源
• 跨平台兼容性差 ：不同硬件环境（如 CUDA 版本）导致部署困难
• 推理延迟高 ：缺乏优化导致实时系统无法满足性能要求
• 内存管理复杂 ：手动处理显存分配容易引发泄漏

技术选型对比

主流推理引擎各有特点：

• TensorRT：NVIDIA 专用，优化极致但生态封闭
• LibTorch：PyTorch 原生支持，但移动端支持较弱
• ONNX Runtime：
• 跨平台支持（Windows/Linux/Android/iOS）
• 可切换多种执行提供者（CPU/GPU/TensorRT 等）
• 持续优化的图执行引擎

对于需要平衡性能和通用性的场景，ONNX Runtime GPU 版是理想选择。

环境配置

基础依赖

# 示例：Ubuntu 环境安装
sudo apt install -y cuda-11.8 cudnn8

版本对应关系：

编译选项

CMake 配置示例：

find_package(onnxruntime REQUIRED)
target_link_libraries(your_target PRIVATE onnxruntime::onnxruntime)

核心实现

模型加载与推理

#include <onnxruntime_cxx_api.h>

// 初始化环境
Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
Ort::SessionOptions session_options;
session_options.AppendExecutionProvider_CUDA(OrtCUDAProviderOptions{0}  // 使用第一个 GPU
);

// 加载模型
Ort::Session session(env, "model.onnx", session_options);

// 准备输入输出
std::vector<int64_t> input_shape = {1, 3, 224, 224};
std::vector<float> input_data(1*3*224*224, 1.0f);

// 创建 Tensor
auto memory_info = Ort::MemoryInfo::CreateCpu(
    OrtAllocatorType::OrtArenaAllocator, 
    OrtMemType::OrtMemTypeDefault
);
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
    memory_info, 
    input_data.data(), 
    input_data.size(), 
    input_shape.data(), 
    input_shape.size());

// 执行推理
auto outputs = session.Run(Ort::RunOptions{nullptr}, 
    input_names, 
    &input_tensor, 
    1, 
    output_names, 
    1
);

多线程优化

// 每个线程独立会话
thread_local Ort::Session thread_session(env, "model.onnx", session_options);

// 使用 IOBinding 避免数据拷贝
Ort::IoBinding binding(thread_session);
binding.BindInput("input", input_tensor);
binding.BindOutput("output", output_tensor);
thread_session.Run(Ort::RunOptions{}, binding);

性能优化技巧

图优化策略

session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
session_options.AddConfigEntry("session.set_denormal_as_zero", "1");  // 提升计算效率 

TensorRT 后端集成

#include <onnxruntime_c_api.h>

OrtTensorRTProviderOptionsV2* trt_options;
OrtSessionOptionsAppendExecutionProvider_TensorRT_V2(
    session_options, 
    trt_options
);

优化效果对比（ResNet50 测试）：

生产环境避坑指南

1. 版本兼容性 ：
2. CUDA 工具包版本必须严格匹配

3. 模型导出时使用固定 opset 版本

4. 内存泄漏检测 ：

   Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault)
       .GetAllocator()
       .GetMemoryUsage();  // 监控内存变化 

5. 异步处理模式 ：

   Ort::RunOptions run_options;
   run_options.SetRunTag("async_run");
   run_options.SetTerminate();  // 可中断 

总结思考

实际部署时需要权衡：

• 如果仅服务 NVIDIA 设备，优先考虑 TensorRT
• 需要多平台部署时，ONNX Runtime+GPU 是更通用方案
• 对延迟极度敏感的场景，建议结合自定义算子

建议通过官方 benchmark 工具进行性能测试：

./onnxruntime_perf_test -m model.onnx -e cuda

完整的示例项目可参考 GitHub 仓库：
https://github.com/onnx/onnxruntime-inference-examples