C++中使用ONNX Runtime GPU版进行模型部署推理：从环境配置到性能优化

共计 2189 个字符，预计需要花费 6 分钟才能阅读完成。

技术背景

当我们需要在生产环境中部署深度学习模型时，GPU 加速通常是必不可少的。ONNX Runtime 提供了 CPU 和 GPU 两个版本，它们在性能和适用场景上有显著差异：

• 延迟对比：在 ResNet50 模型上，GPU 版本的推理延迟通常比 CPU 版本低 5 -10 倍
• 吞吐量对比：GPU 版本在小 batch size 下优势明显，但随着 batch 增大，CPU 版本的吞吐量可能接近 GPU
• 版本兼容性：CUDA/cuDNN 版本必须严格匹配，比如 ONNX Runtime 1.12 需要 CUDA 11.6 和 cuDNN 8.3

环境配置

方法一：使用 vcpkg 安装

这是最快捷的方式，适合快速验证场景：

1. 安装 vcpkg（如果尚未安装）

   git clone https://github.com/microsoft/vcpkg
   ./vcpkg/bootstrap-vcpkg.sh

2. 安装带 GPU 支持的 ONNX Runtime

   ./vcpkg install onnxruntime[cuda]:x64-linux

方法二：源码编译

当需要自定义编译选项时，推荐这种方式：

1. 克隆 ONNX Runtime 仓库

   git clone --recursive https://github.com/microsoft/onnxruntime

2. 配置 CMake

   ./build.sh --config Release --use_cuda --cuda_home /usr/local/cuda-11.6 --cudnn_home /usr/local/cuda-11.6

核心实现

Session 配置示例

Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(1);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);

// 启用 CUDA 执行提供器
OrtCUDAProviderOptions cuda_options;
cuda_options.device_id = 0;
session_options.AppendExecutionProvider_CUDA(cuda_options);

模型加载与错误处理

try {Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "ONNXRuntime");
    Ort::Session session(env, model_path.c_str(), session_options);
} catch (const Ort::Exception& e) {std::cerr << "加载模型失败:" << e.what() << std::endl;
    return -1;
}

IOBinding 优化

Ort::MemoryInfo memory_info("Cuda", OrtAllocatorType::OrtArenaAllocator, 0, OrtMemTypeDefault);

// 绑定输入输出到 GPU 内存
Ort::IoBinding binding(session);
binding.BindInput("input", input_tensor);
binding.BindOutput("output", output_tensor);

session.Run(Ort::RunOptions(), binding);

性能优化

同步 vs 异步推理

• 同步推理：简单直接，适合低延迟场景

  session.Run(Ort::RunOptions(), input_names.data(), &input_tensor, 1, output_names.data(), &output_tensor, 1);

• 异步推理：提高吞吐量，适合高并发

  auto future = session.RunAsync(/*...*/);
  future.wait();

Batch Size 选择

通过实验找到最佳 batch size：

1. 从 batch= 1 开始测试
2. 逐步增加 batch 直到显存占用接近 80%
3. 记录各 batch size 下的吞吐量

多线程安全

// 每个线程使用独立的 Session
class InferenceWorker {
    Ort::Session session;
public:
    InferenceWorker(const std::string& model_path) 
        : session(env, model_path.c_str(), session_options) {}};

避坑指南

CUDA 内存不足

• 解决方案：
• 减小 batch size
• 使用 Ort::SessionOptions 设置内存增长策略
• 检查是否有内存泄漏（特别是重复创建 Session）

模型转换问题

• Opset 选择：
• ONNX Runtime 最新版本支持 opset 15
• 转换时使用最高兼容的 opset 版本

调试符号缺失

编译时添加调试信息：

./build.sh --config Debug --build_shared_lib

Benchmark 测试方法

使用以下方法进行基准测试：

1. 预热运行 10 次
2. 计时 100 次推理取平均
3. 测试不同输入尺寸
4. 监控 GPU 利用率（使用 nvidia-smi）

完整示例代码可在 GitHub 仓库找到。通过合理的配置和优化，ONNX Runtime GPU 版可以显著提升模型推理性能，是生产环境部署的理想选择。