C++ ONNX Runtime GPU加速推理入门指南：从环境配置到性能优化

1次阅读

共计 2455 个字符，预计需要花费 7 分钟才能阅读完成。

ONNX Runtime 是一个高性能的推理引擎，支持多种硬件加速后端，特别适合生产环境部署深度学习模型。GPU 加速能显著提升推理速度，尤其对于计算密集型的模型（如视觉 Transformer 或大型语言模型）效果更明显。相比 CPU 推理，合理利用 GPU 可以获得 10 倍以上的加速比。

安装 CUDA Toolkit（建议 11.3 以上版本）
安装对应版本的 cuDNN
下载 ONNX Runtime GPU 版本（注意与 CUDA 版本匹配）

验证安装是否成功：

nvcc --version  # 查看 CUDA 版本
onnxruntime-gpu --version  # 查看 ONNX Runtime 版本

find_package(CUDA REQUIRED)
find_package(onnxruntime-gpu REQUIRED)

target_link_libraries(your_target PRIVATE onnxruntime::onnxruntime)

#include <onnxruntime_cxx_api.h>

Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test");
Ort::SessionOptions session_options;
session_options.AppendExecutionProvider_CUDA(0);  // 使用第一个 GPU

// 配置图优化选项
session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);

// 加载模型
Ort::Session session(env, "model.onnx", session_options);

// 创建 GPU 内存中的 Tensor
Ort::MemoryInfo memory_info("Cuda", OrtDeviceAllocator, 0, OrtMemTypeDefault);

// 假设输入是 float 类型的 224x224 RGB 图像
std::vector<int64_t> input_shape = {1, 3, 224, 224}; 
std::vector<float> input_data(1*3*224*224); // 填充实际数据...

Ort::Value input_tensor = Ort::Value::CreateTensor<float>(
    memory_info,
    input_data.data(),
    input_data.size(),
    input_shape.data(),
    input_shape.size());

// 创建异步回调
Ort::RunOptions run_options;
run_options.SetRunTag("async_run");

// 执行推理
session.RunAsync(
    run_options,
    input_names.data(),  // 输入节点名称数组
    &input_tensor,       // 输入 Tensor 指针
    1,                   // 输入数量
    output_names.data(), // 输出节点名称数组
    1                    // 输出数量
);

小 batch（1-8）：适合实时性要求高的场景
中 batch（8-32）：吞吐量和延迟的平衡点
大 batch（32+）：适合离线批量处理

建议通过实际测试找到最佳值，通常 GPU 利用率在 80-95% 时为最佳 batch。

每个线程创建独立的 InferenceSession
使用线程池管理推理任务
避免频繁创建销毁 Session

// 线程安全的 Session 池实现示例
class SessionPool {
public:
    Ort::Session& GetSession() {std::lock_guard<std::mutex> lock(mutex_);
        if(pool_.empty()) {return CreateNewSession();
        }
        auto& session = pool_.back();
        pool_.pop_back();
        return session;
    }

    void ReleaseSession(Ort::Session&& session) {std::lock_guard<std::mutex> lock(mutex_);
        pool_.emplace_back(std::move(session));
    }
};

设备	模型	Batch=1	Batch=16	Batch=32
CPU	ResNet50	45ms	680ms	1200ms
GPU(T4)	ResNet50	8ms	35ms	50ms

使用 Ort::GetAllocatorInfo 检查内存分配
确保所有 Ort::Value 都正确释放
定期调用 Ort::Allocator::Free 清理缓存

Session 对象非线程安全
多个线程可以同时调用不同的 Session
输入输出 Tensor 也需保证线程隔离

ONNX opset 版本匹配（建议 opset>=11）
检查模型中所有算子是否支持 GPU
转换 PyTorch/TensorFlow 模型时注意动态维度处理

# 模型转换时指定动态维度示例
torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    dynamic_axes={'input': {0: 'batch'},  
        'output': {0: 'batch'}
    }
)

通过本文介绍的方法，您应该已经掌握了 ONNX Runtime GPU 加速的基本使用方法。为了进一步提升性能，建议：