C++中使用ONNX Runtime GPU版进行高效模型部署推理：从环境配置到性能优化

1次阅读

没有评论

共计 3145 个字符，预计需要花费 8 分钟才能阅读完成。

在 C ++ 项目中部署深度学习模型时，开发者常面临以下挑战：

GPU 利用率低 ：传统部署方式无法充分发挥 GPU 并行计算能力
跨平台兼容性问题 ：不同硬件环境下的模型表现不一致
部署复杂度高 ：需要处理模型转换、依赖管理等多重环节
性能调优困难 ：缺乏有效的性能分析工具和方法

TensorRT
优点：极致性能优化，专为 NVIDIA GPU 设计
缺点：模型转换复杂，生态封闭
LibTorch
优点：PyTorch 生态无缝衔接
缺点：二进制包体积大，移动端支持有限
ONNX Runtime
优点：跨平台支持，轻量级，持续优化的 GPU 加速
缺点：某些定制化优化不如 TensorRT 深入

统一的 API 支持多种硬件后端 (CUDA/DirectML/OpenVINO)
内置自动图优化和算子融合
活跃的社区支持和持续的性能改进
与 PyTorch/TensorFlow 等框架无缝对接

基础依赖
CUDA 11.x
cuDNN 8.x
ONNX Runtime GPU 版 (1.10+)
安装步骤

# 下载预编译包
wget https://github.com/microsoft/onnxruntime/releases/download/v1.10.0/onnxruntime-linux-x64-gpu-1.10.0.tgz

# 解压并设置环境变量
tar -zxvf onnxruntime-linux-x64-gpu-1.10.0.tgz
export ONNXRUNTIME_DIR=$(pwd)/onnxruntime-linux-x64-gpu-1.10.0

#include <onnxruntime_cxx_api.h>
#include <vector>
#include <iostream>

// 1. 初始化环境
Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "ONNXRuntime");

// 2. 配置会话选项
Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(1);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);

// 3. 指定 GPU 执行提供者
OrtCUDAProviderOptions cuda_options;
cuda_options.device_id = 0;
session_options.AppendExecutionProvider_CUDA(cuda_options);

// 4. 加载模型
const std::string model_path = "resnet50.onnx";
Ort::Session session(env, model_path.c_str(), session_options);

// 5. 准备输入输出
std::vector<const char*> input_names = {"input"};
std::vector<const char*> output_names = {"output"};

// 6. 创建输入 Tensor
std::vector<float> input_tensor_values(224*224*3); // 示例输入
std::vector<int64_t> input_shape = {1, 3, 224, 224};
Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(OrtAllocatorType::OrtArenaAllocator, OrtMemType::OrtMemTypeDefault);

Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, input_tensor_values.data(), input_tensor_values.size(), 
    input_shape.data(), input_shape.size());

// 7. 执行推理
auto output_tensors = session.Run(Ort::RunOptions{nullptr}, 
    input_names.data(), &input_tensor, 1, 
    output_names.data(), 1);

// 8. 处理输出
float* output_data = output_tensors[0].GetTensorMutableData<float>();

线程池配置

// 设置并行线程数
session_options.SetIntraOpNumThreads(4);  // 算子内并行
session_options.SetInterOpNumThreads(2);  // 算子间并行

异步推理模式

Ort::RunOptions run_options;
run_options.SetRunTag("async_inference");
run_options.SetTerminate(false);  // 允许异步执行

// 启动异步推理
session.RunAsync(run_options, 
    input_names.data(), &input_tensor, 1,
    output_names.data(), 1);

启用层级融合

session_options.SetGraphOptimizationLevel(ORT_ENABLE_EXTENDED);

定制优化器

#include <onnxruntime/core/session/onnxruntime_session_options_config_keys.h>

// 仅启用特定优化
const char* optimizers[] = {"NCHWc", "ConvBNFusion"};
session_options.AddConfigEntry(kOrtSessionOptionsConfigKeyOptimizerSet, "NCHWc,ConvBNFusion");

// 1. 添加 TensorRT 提供者
OrtTensorRTProviderOptions trt_options;
trt_options.device_id = 0;
trt_options.trt_max_workspace_size = 1 << 30; // 1GB
session_options.AppendExecutionProvider_TensorRT(trt_options);