C# 使用纯 ONNX 实现 GPU 加速推理识别：从模型加载到性能优化实战

1次阅读

共计 2720 个字符，预计需要花费 7 分钟才能阅读完成。

在传统 C# 开发中，实现 GPU 加速的深度学习推理通常需要依赖复杂的第三方库（如 TensorFlow.NET 或 PyTorch 绑定），这些方案存在以下问题：

部署依赖项多，环境配置复杂
API 设计对 C# 开发者不够友好
GPU 内存管理容易泄漏
跨平台兼容性差

而 ONNX Runtime 提供的 C# API 能完美解决这些问题，它支持：

纯 ONNX 模型直接推理
自动 GPU 加速（通过 CUDA 或 DirectML）
精简的依赖项（单个 NuGet 包）
跨平台支持（Windows/Linux/macOS）

方案	部署复杂度	GPU 支持	生态完善度	C# 友好度
TensorFlow.NET	高	需要	中等	一般
PyTorchSharp	高	需要	低	较差
ONNX Runtime	低	原生	高	优秀
ML.NET	中等	有限	中等	优秀

首先安装必要的 NuGet 包：

Install-Package Microsoft.ML.OnnxRuntime -Version 1.15.1
Install-Package Microsoft.ML.OnnxRuntime.Gpu -Version 1.15.1

// 使用 GPU 设备创建会话
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider_CUDA(); // 启用 CUDA 加速

// 从文件加载 ONNX 模型
var modelPath = "resnet50-v2-7.onnx";
using var session = new InferenceSession(modelPath, sessionOptions);

// 检查输入输出元数据
var inputMeta = session.InputMetadata;
var outputMeta = session.OutputMetadata;

// 创建输入 Tensor（示例使用 224x224 RGB 图像）var inputShape = new[] { 1, 3, 224, 224};
var inputData = new float[inputShape.Aggregate((a, b) => a * b)];

// 创建 ONNX 标准输入
var inputTensor = new DenseTensor<float>(inputData, inputShape);
var inputs = new List<NamedOnnxValue>
{NamedOnnxValue.CreateFromTensor<float>(inputMeta.Keys.First(), inputTensor)
};

// 同步推理
using var results = session.Run(inputs);

// 异步推理（推荐）using var asyncResults = await session.RunAsync(inputs);

// 获取输出
var outputTensor = asyncResults.First().AsTensor<float>();

// 修改输入 shape 支持批量推理
var batchSize = 4;
var batchShape = new[] { batchSize, 3, 224, 224};

// 使用固定内存提升拷贝效率
var pinnedMemory = Marshal.AllocHGlobal(batchSize * 3 * 224 * 224 * sizeof(float));

// 创建异步推理管道
var inferenceQueue = new BlockingCollection<InferenceRequest>(capacity: 10);

// 专用推理线程
var inferenceTask = Task.Run(() => 
{foreach(var request in inferenceQueue.GetConsumingEnumerable())
    {using var results = session.Run(request.Inputs);
        request.CompletionSource.SetResult(results);
    }
});

// 使用对象池减少 GC 压力
var tensorPool = new ObjectPool<DenseTensor<float>>(() => 
    new DenseTensor<float>(new float[224*224*3], new[] {1,3,224,224}));

// 使用后归还对象
var tempTensor = tensorPool.Get();
// ... 使用代码...
tensorPool.Return(tempTensor);

// 错误示例：未释放的资源会导致内存泄漏
var results = session.Run(inputs); // 缺少 using

// 正确做法：始终确保 IDisposable 对象被释放
using var results = session.Run(inputs);

// ONNXRuntime 会话不是线程安全的
// 解决方案 1：使用锁
lock(syncObject)
{session.Run(inputs);
}

// 解决方案 2：每个线程独立会话
[ThreadStatic] 
private static InferenceSession perThreadSession;

# PyTorch 转 ONNX 示例（需要 Python 环境）torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}}
)

测试环境：NVIDIA RTX 3080 + i9-12900K