C++中使用ONNX Runtime GPU版进行高效模型部署推理的实战指南

1次阅读

共计 2762 个字符，预计需要花费 7 分钟才能阅读完成。

在 C ++ 环境中部署深度学习模型时，开发者常面临以下挑战：

性能瓶颈 ：CPU 推理难以满足实时性要求高的场景
资源占用高 ：模型加载和推理过程中内存消耗大
跨平台兼容性差 ：不同硬件环境下部署适配成本高
部署流程复杂 ：从训练框架到生产环境的转换困难

ONNX Runtime GPU 版通过以下优势解决这些问题：

支持多种硬件加速后端（CUDA/DirectML 等）
提供统一的跨平台 API 接口
自动优化计算图执行
内存高效管理机制

特性	ONNX Runtime	TensorRT	LibTorch
模型格式支持	ONNX	TensorRT	TorchScript
硬件兼容性	广泛	NVIDIA 专属	广泛
优化级别	中等	极高	中等
部署复杂度	低	高	中等
社区支持	活跃	一般	活跃

ONNX Runtime 特别适合需要平衡性能与部署灵活性的场景。

#include <onnxruntime_cxx_api.h>

// 初始化环境（启用 CUDA）Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "ONNXRuntime");
Ort::SessionOptions session_options;
session_options.SetIntraOpNumThreads(1);
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);
session_options.AppendExecutionProvider_CUDA(OrtCUDAProviderOptions());

// 加载模型
Ort::Session session(env, "model.onnx", session_options);

// 获取输入输出信息
Ort::AllocatorWithDefaultOptions allocator;
auto input_name = session.GetInputName(0, allocator);
auto output_name = session.GetOutputName(0, allocator);

// 准备输入数据
std::vector<int64_t> input_shape = {1, 3, 224, 224};
std::vector<float> input_data(1*3*224*224, 1.0f);

Ort::MemoryInfo memory_info("Cuda", OrtAllocatorType::OrtArenaAllocator, 0, OrtMemType::OrtMemTypeDefault);
Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, 
    input_data.data(), input_data.size(), input_shape.data(), input_shape.size());

// 创建 CUDA 流
cudaStream_t stream;
cudaStreamCreate(&stream);

// 绑定流到会话
Ort::ThrowOnError(Ort::GetApi().SessionRunWithBinding(
    session, 
    nullptr,
    &input_binding,  // 绑定输入
    &output_binding, // 绑定输出
    nullptr, 0,      // 不需要 run_options
    &stream          // CUDA 流
));

// 同步等待结果
cudaStreamSynchronize(stream);

// 动态批处理设置
session_options.AddConfigEntry("session.dynamic_block_size", "16");
session_options.AddConfigEntry("session.enable_sequential_execution", "0");

// 启用 Arena 内存分配器
OrtArenaCfg arena_cfg{0,    // 初始内存 (MB)
    1024, // 最大内存 (MB)
    16    // 内存增长步长 (MB)
};
session_options.AddConfigEntry("session.enable_mem_pattern", "1");
session_options.AddConfigEntry("session.arena_extend_strategy", "kNextPowerOfTwo");

// 多流并行处理
constexpr int num_streams = 4;
std::vector<cudaStream_t> streams(num_streams);
for (auto& stream : streams) {cudaStreamCreate(&stream);
}

// 轮询使用不同的流
static int current_stream = 0;
session.RunAsync(Ort::RunOptions(), 
    input_bindings.data(), 
    output_bindings.data(), 
    streams[current_stream++ % num_streams]);

版本兼容性问题
ONNX 模型版本与 Runtime 版本需匹配
CUDA/cuDNN 版本需严格对应

显存泄漏检测

// 在析构函数中确保释放资源
~InferenceEngine() {session_.release();
    cudaStreamDestroy(stream_);
}

输入输出验证

// 运行时检查张量形状
auto expected_shape = session.GetInputTypeInfo(0).GetTensorTypeAndShapeInfo().GetShape();
if (input_shape != expected_shape) {throw std::runtime_error("Input shape mismatch");
}

测试环境：NVIDIA T4 GPU, Ubuntu 20.04