C#使用ONNX Runtime-GPU加速YOLOv8模型推理的进阶优化指南

1次阅读

共计 2258 个字符，预计需要花费 6 分钟才能阅读完成。

最近在项目中使用 ONNX Runtime-GPU 跑 YOLOv8 模型时，发现 GPU 利用率始终徘徊在 30% 左右，明明用了 RTX 3060 显卡，但 FPS 就是上不去。经过排查发现几个典型问题：

GPU 计算和 CPU 预处理串行执行，存在大量等待时间
默认 FP32 模型占用显存过大，batch_size 稍大就 OOM
每帧推理都需要在 CPU 和 GPU 间来回拷贝数据

YOLOv8 官方提供的.onnx 模型默认是 FP32 格式，我们可以用 onnxruntime 的量化工具进行压缩：

// FP16 量化示例（精度损失约 1%~2%）var sessionOptions = SessionOptions.MakeSessionOptionWithCudaProvider(0);
sessionOptions.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL;
sessionOptions.OptimizedModelFilePath = "yolov8s_fp16.onnx";
sessionOptions.AddConfigEntry("session.optimization.fast_math_enabled", "1");

FP16 量化：显存减半，速度提升 40%
INT8 量化：需要校准数据集，速度提升 2 倍但 mAP 下降 3%~5%

传统同步推理流程：

CPU 预处理 → 同步等待 → GPU 推理 → 同步等待 → 后处理

优化后的异步流水线：

// 创建双缓冲队列
ConcurrentQueue<Mat> preprocessQueue = new();
ConcurrentQueue<float[]> inferenceQueue = new();

// 预处理线程
Task.Run(() => {while(true) {var mat = GetNextFrame();
        var tensor = Preprocess(mat);
        preprocessQueue.Enqueue(tensor);
    }
});

// 推理线程
Task.Run(() => {using var session = new InferenceSession("yolov8s.onnx", sessionOptions);
    while(true) {if(preprocessQueue.TryDequeue(out var tensor)) {
            var inputs = new List<NamedOnnxValue> {NamedOnnxValue.CreateFromTensor("images", tensor)
            };
            using var results = session.Run(inputs);
            inferenceQueue.Enqueue(results.ToArray());
        }
    }
});

当处理高分辨率输入时，可以创建多个 Session 实例并行处理：

// 创建两个 GPU 会话
var session1 = new InferenceSession("yolov8s.onnx", 
    SessionOptions.MakeSessionOptionWithCudaProvider(0));
var session2 = new InferenceSession("yolov8s.onnx",
    SessionOptions.MakeSessionOptionWithCudaProvider(0));

// 轮询调度
async Task<IDisposableReadOnlyCollection<DisposableNamedOnnxValue>> RunInferenceAsync(Mat frame) {Interlocked.Increment(ref _counter);
    var session = _counter % 2 == 0 ? session1 : session2;
    return await Task.Run(() => session.Run(new[] {NamedOnnxValue.CreateFromTensor("images", Preprocess(frame))
    }));
}

在 RTX 3060 上测试 640×640 输入：

优化方案	FPS	GPU 利用率	显存占用
原始 FP32	32	35%	2.1GB
FP16 量化	45	60%	1.2GB
异步流水线	68	85%	2.1GB
FP16+ 多 Session	92	95%	2.4GB

CUDA 版本匹配：
ONNX Runtime 1.15 需要 CUDA 11.8
可通过 nvidia-smi 查看驱动支持的 CUDA 版本

显存溢出预防：

// 监控显存使用
using var session = new InferenceSession("model.onnx", 
    SessionOptions.MakeSessionOptionWithCudaProvider(0, new CUDAProviderOptions {GpuMemLimit = 1L * 1024 * 1024 * 1024 // 限制 1GB}));