C# 使用 GPU 加速 YOLOv8 推理：从环境配置到性能优化实战

共计 2600 个字符，预计需要花费 7 分钟才能阅读完成。

1. YOLOv8 与 GPU 加速的必要性

YOLOv8 是 Ultralytics 推出的最新目标检测模型，相比前代在精度和速度上都有显著提升。但即便这样，在 CPU 上运行 YOLOv8 推理仍然较慢，尤其是处理高分辨率图像或视频流时。GPU 加速可以充分利用并行计算能力，将推理速度提升 3-5 倍，这对于实时应用至关重要。

2. CPU vs GPU 性能对比

通过实际测试（使用 ONNX Runtime 1.15.1，输入尺寸 640×640）：

• Intel i7-11800H (CPU): ~120ms/ 帧
• NVIDIA RTX 3060 (GPU): ~25ms/ 帧

GPU 加速带来了近 5 倍的性能提升，这对于需要处理 30FPS 视频流的应用至关重要。

3. 环境配置详解

3.1 CUDA 和 cuDNN 安装

1. 确认显卡支持 CUDA（NVIDIA 官网可查兼容性列表）
2. 下载与显卡驱动匹配的 CUDA Toolkit（推荐 11.7 或 12.x）
3. 安装对应版本的 cuDNN，将库文件复制到 CUDA 安装目录

# 验证安装成功
nvcc --version

3.2 ONNX Runtime GPU 版本

通过 NuGet 安装：

Install-Package Microsoft.ML.OnnxRuntime.Gpu -Version 1.15.1

3.3 DirectML 备用方案

对于非 NVIDIA 显卡（如 AMD/Intel），可使用 DirectML 后端：

Install-Package Microsoft.ML.OnnxRuntime.DirectML

4. C# 实现完整代码示例

4.1 模型加载

using Microsoft.ML.OnnxRuntime;

var options = SessionOptions.MakeSessionOptionWithCudaProvider(0); // 使用第一个 GPU
var session = new InferenceSession("yolov8n.onnx", options);

4.2 图像预处理

// 使用 OpenCvSharp 进行预处理
using OpenCvSharp;

Mat image = Cv2.ImRead("test.jpg");
Mat resized = new Mat();
Cv2.Resize(image, resized, new Size(640, 640));

// 转换为 CHW 格式并归一化
float[] inputData = new float[3 * 640 * 640];
for (int c = 0; c < 3; c++) {for (int i = 0; i < 640 * 640; i++) {inputData[c * 640 * 640 + i] = resized.At<Vec3b>(i / 640, i % 640)[c] / 255.0f;
    }
}

4.3 GPU 推理执行

var inputTensor = OrtValue.CreateTensorValueFromMemory(inputData, new[] {1, 3, 640, 640});
var inputs = new Dictionary<string, OrtValue> {{ "images", inputTensor} };

using var outputs = session.Run(inputs);
var predictions = outputs[0].GetTensorDataAsSpan<float>();

4.4 后处理逻辑

// 解析 YOLOv8 输出格式
List<DetectionResult> results = new();
for (int i = 0; i < predictions.Length; i += 84) {float confidence = predictions[i + 4];
    if (confidence > 0.5f) {var clsScores = predictions.Slice(i + 5, 80);
        int classId = clsScores.IndexOf(clsScores.Max());
        results.Add(new DetectionResult {
            ClassId = classId,
            Confidence = confidence,
            Box = new Rect(/* 坐标转换逻辑 */)
        });
    }
}

5. 性能优化技巧

5.1 批处理实现

// 修改输入维度为 [batch_size, 3, 640, 640]
var inputTensor = OrtValue.CreateTensorValueFromMemory(batchData, new[] {batchSize, 3, 640, 640});

5.2 内存复用

// 复用输入输出缓冲区
fixed (float* pInput = inputBuffer) {
    var inputTensor = OrtValue.CreateTensorValueFromMemory(new Memory<float>(pInput, inputBuffer.Length), 
        inputShape);
    // ...
}

5.3 异步流水线

async Task ProcessFrameAsync(Mat frame) {var preprocessed = await Task.Run(() => Preprocess(frame));
    var results = await inferenceSession.RunAsync(preprocessed);
    // ...
}

6. 生产环境注意事项

6.1 多 GPU 负载均衡

// 轮询使用多个 GPU
int currentGpu = 0;
var options = SessionOptions.MakeSessionOptionWithCudaProvider(currentGpu);
currentGpu = (currentGpu + 1) % gpuCount;

6.2 显存不足处理

• 降低批处理大小
• 使用 FP16 精度模型
• 实现显存监控和动态卸载

6.3 模型热更新

// 使用文件监视器
var watcher = new FileSystemWatcher();
watcher.Filter = "*.onnx";
watcher.Changed += (s, e) => ReloadModel();

7. 性能对比数据

8. 系统集成建议

实际部署时可以考虑：

1. 封装为 gRPC 服务
2. 与 ASP.NET Core 集成
3. 添加 Prometheus 监控指标
4. 实现自动缩放策略