共计 3585 个字符，预计需要花费 9 分钟才能阅读完成。

背景：为什么需要 GPU 推理？

当模型复杂度达到百万级参数时，CPU 推理可能产生 200-500ms 的延迟。而同一模型在 RTX 3060 GPU 上通常能缩短到 10-30ms，这种百倍差距在实时视频分析等场景尤为关键。

但 GPU 环境搭建存在三大门槛：

1. CUDA 与 cuDNN 版本矩阵的兼容性问题
2. ONNX Runtime 的 DirectML/CUDA 执行提供程序选择
3. C# 生态中相关文档的碎片化

技术选型：CPU 还是 GPU？

通过对比 ResNet50 模型的基准测试：

GPU 方案在持续推理场景优势明显，但需注意：

• 小模型 (<10MB) 可能因数据传输开销反而变慢
• DirectML 对 AMD GPU 更友好
• CPU 方案部署更简单

环境配置七步走

1. 安装对应版本的 CUDA 工具包（当前推荐 11.7）

   winget install NVIDIA.CUDA --version 11.7.0

2. 下载匹配的 cuDNN 并解压到 CUDA 目录

   cuda\bin   <-- 放入 cudnn64_8.dll
   cuda\include <-- 放入 cudnn.h

3. 验证环境变量

   nvcc --version  # 应显示 11.7

4. 创建 .NET 6+ 控制台项目

   dotnet new console -n OnnxGpuDemo

5. 添加 NuGet 包

   <PackageReference Include="Microsoft.ML.OnnxRuntime.Gpu" Version="1.13.1" />

6. 检查 GPU 可用性

   var providers = OrtEnv.Instance.GetAvailableProviders();
   Console.WriteLine(string.Join(",", providers)); // 应包含 CUDA

7. 强制启用 GPU 回退（可选）

   SessionOptions.MakeSessionOptionWithCudaProvider(0); // 0 表示设备 ID

核心代码实战

模型加载与推理

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

// 初始化会话
var session = new InferenceSession("resnet50.onnx", 
    SessionOptions.MakeSessionOptionWithCudaProvider(0));

// 准备输入（假设输入为 224x224 RGB 图像）var inputTensor = new DenseTensor<float>(new[] {1, 3, 224, 224});
// ... 填充图像数据...

// 创建输入容器
var inputs = new List<NamedOnnxValue> 
{NamedOnnxValue.CreateFromTensor("input", inputTensor) 
};

// 执行推理
using var results = session.Run(inputs);

// 获取输出
var output = results.First().AsTensor<float>();

异步推理实现

async Task<float[]> InferAsync(byte[] imageData)
{
    await using var session = new InferenceSession("model.onnx", 
        SessionOptions.MakeSessionOptionWithCudaProvider(0));

    // 使用 Task.Run 将同步推理转移到线程池
    return await Task.Run(() => 
    {var input = Preprocess(imageData);
        using var results = session.Run(new[] {input});
        return results.First().AsTensor<float>().ToArray();});
}

性能优化三把斧

批量处理

// 修改输入维度为 [batch_size, channels, height, width]
var batchInput = new DenseTensor<float>(new[] {8, 3, 224, 224});

// 执行批量推理
var outputs = session.Run(new[] 
{NamedOnnxValue.CreateFromTensor("input", batchInput) 
});

内存复用

// 预分配输入输出缓冲区
var inputBuffer = new float[1 * 3 * 224 * 224];
var outputBuffer = new float[1000]; // ImageNet 类别数

// 复用缓冲区
fixed (float* pInput = inputBuffer, pOutput = outputBuffer)
{var inputTensor = new DenseTensor<float>(pInput, new[] {1, 3, 224, 224});
    var outputs = session.Run(new[] {NamedOnnxValue.CreateFromTensor("input", inputTensor) });
    outputs.First().AsTensor<float>().Buffer.CopyTo(outputBuffer);
}

多模型并行

// 为每个模型创建独立会话
var sessions = Enumerable.Range(0, 4)
    .Select(i => new InferenceSession("model.onnx", 
        SessionOptions.MakeSessionOptionWithCudaProvider(0)))
    .ToArray();

// 使用 Parallel.For 并行推理
Parallel.For(0, 100, i =>
{var result = sessions[i % 4].Run(/*...*/);
    // 处理结果...
});

避坑指南

CUDA 版本冲突

症状：DllNotFoundException: cudart64_110.dll

解决方案：
1. 检查 PATH 环境变量是否包含 CUDA 的 bin 目录
2. 使用 Dependency Walker 查看缺失的 DLL
3. 通过 where cudart64_110.dll 确认文件位置

显存不足

错误信息：OutOfMemoryException: CUDA out of memory

应对策略：
1. 减小批量大小（batch size）
2. 使用 session.EndProfiling() 分析内存使用
3. 启用内存增长选项：

var options = SessionOptions.MakeSessionOptionWithCudaProvider(0);
options.AddConfigEntry("gpu_mem_limit", "2147483648"); // 2GB

跨平台陷阱

Linux 系统特别注意：
1. 需要额外安装 libgomp1：sudo apt install libgomp1
2. 符号链接需正确设置：

sudo ln -s /usr/local/cuda/lib64/libcudart.so /usr/lib/

进阶路线

1. ONNX Runtime 性能分析工具：

   session.StartProfiling();
   // ... 运行推理...
   var profile = session.EndProfiling();

2. 模型量化（FP32 -> INT8）：

   # 使用 onnxruntime 工具包
   from onnxruntime.quantization import quantize_dynamic
   quantize_dynamic("model.onnx", "model_quant.onnx")

3. 混合精度推理：

   options.AddConfigEntry("ort.cuda.fp16_enable", "1");

实测数据对比

测试环境：i7-12700H + RTX 3060 Laptop

总结

通过合理配置 CUDA 环境和应用文中技巧，我们在实际项目中实现了：
– 视频分析延迟从 50ms 降至 6ms
– 服务器成本降低 60%（GPU 替换多台 CPU 服务器）
– 系统吞吐量提升 8 倍

建议从简单模型开始逐步验证，遇到问题时优先检查：
1. CUDA/cuDNN 版本匹配
2. 显存监控（nvidia-smi）
3. ONNX Runtime 日志级别设置：

OrtEnv.Instance.LogSeverityLevel = OrtLoggingLevel.ORT_LOGGING_LEVEL_VERBOSE;