C# ONNX Runtime GPU加速入门指南：从环境配置到性能优化

1次阅读

共计 2363 个字符，预计需要花费 6 分钟才能阅读完成。

ONNX（Open Neural Network Exchange）是一种开放的模型格式，允许不同框架训练的模型相互转换和使用。ONNX Runtime 是一个高性能的推理引擎，专门用于运行 ONNX 模型。GPU 加速可以显著提升模型推理速度，特别是在处理大规模神经网络时。

对于 C# 开发者来说，ONNX Runtime 提供了.NET 接口，可以方便地在 C# 应用中集成 AI 模型推理功能。GPU 加速则可以利用显卡强大的并行计算能力，大幅提升推理性能。

安装 CUDA Toolkit（建议 11.0 及以上版本）
安装对应版本的 cuDNN
通过 NuGet 安装 ONNX Runtime GPU 包
在 Visual Studio 中，右键项目 -> 管理 NuGet 程序包
搜索 ”Microsoft.ML.OnnxRuntime.Gpu” 并安装

注意：CUDA、cuDNN 和 ONNX Runtime 的版本必须匹配，否则可能导致运行错误。

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

// 初始化推理会话
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider_CUDA(); // 启用 GPU 加速

using var session = new InferenceSession("model.onnx", sessionOptions);

// 准备输入数据
var inputTensor = new DenseTensor<float>(inputData, inputDimensions);
var inputs = new List<NamedOnnxValue>
{NamedOnnxValue.CreateFromTensor(inputName, inputTensor)
};

// 执行推理
using var results = session.Run(inputs);

// 处理输出
var output = results.First().AsTensor<float>();

// 完整示例：图像分类模型推理
using System;
using System.Linq;
using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

class Program
{static void Main()
    {
        try
        {
            // 1. 创建会话选项并启用 GPU
            var options = new SessionOptions();
            options.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL;
            options.AppendExecutionProvider_CUDA();

            // 2. 加载模型
            using var session = new InferenceSession("resnet50.onnx", options);

            // 3. 准备输入数据(示例数据)
            var inputDim = new[] {1, 3, 224, 224};
            var inputTensor = new DenseTensor<float>(inputDim);

            // 4. 执行推理
            var inputs = new List<NamedOnnxValue>
            {NamedOnnxValue.CreateFromTensor("input", inputTensor)
            };

            using var results = session.Run(inputs);

            // 5. 处理结果
            var output = results.First().AsTensor<float>();
            var maxIndex = output.ArgMax();
            Console.WriteLine($"预测结果: 类别{maxIndex}, 置信度:{output[maxIndex]}");
        }
        catch (Exception ex)
        {Console.WriteLine($"错误: {ex.Message}");
        }
    }
}

测试环境：
– CPU: Intel i7-10750H
– GPU: NVIDIA RTX 2060
– 模型: ResNet50