C#使用ONNX Runtime-GPU加速YOLOv8模型推理的进阶优化指南

1次阅读

共计 2160 个字符，预计需要花费 6 分钟才能阅读完成。

最近在项目中尝试用 C# 调用 ONNX Runtime-GPU 跑 YOLOv8 模型时，发现即使上了 RTX 3060 显卡，推理速度还是不够理想。通过性能分析工具发现几个典型问题：

GPU 利用率只有 30-40%，大部分时间在等待数据搬运
每帧推理都要重新分配内存，产生额外开销
预处理和后处理都在 CPU 上执行，形成性能瓶颈

FP16 量化：直接减少一半的显存占用和计算量，精度损失通常在 1% 以内
INT8 量化：需要校准数据集，速度更快但精度下降明显（适合对精度不敏感的场景）

// 创建支持 FP16 的 Session 选项
var sessionOptions = SessionOptions.MakeSessionOptionWithCudaProvider(0);
sessionOptions.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL;
sessionOptions.EnableMemoryPattern = false; // 禁用内存模式提升性能

使用 System.Threading.Tasks 创建生产 - 消费队列
预处理、推理、后处理分到不同线程
通过 FixedBufferOnnxValue 复用内存

创建多个 InferenceSession 实例
每个 Session 绑定到不同 CUDA stream
需要确保显存足够（每个 Session 约占用 1.2 倍模型大小）

// 预先分配并绑定 IO 缓冲区
var inputOrtValue = OrtValue.CreateTensorValueWithData(
    allocator,
    elementType: TensorElementType.Float16,
    shape: new long[] { 1, 3, 640, 640},
    dataBuffer: preallocatedBuffer);

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

class YOLOv8OptimizedInference 
{
    // 共享的 CUDA 内存管理器
    private static OrtMemoryInfo _memoryInfo = OrtMemoryInfo.DefaultInstance;

    // 双缓冲队列实现
    private ConcurrentQueue<byte[]> _inputQueue = new();

    public void Run()
    {
        // 1. 初始化配置
        var options = SessionOptions.MakeSessionOptionWithCudaProvider(0);
        options.RegisterCustomOpLibraryV2("path/to/tensorrt_provider.dll");

        // 2. 加载 FP16 量化模型
        using var session = new InferenceSession("yolov8s_fp16.onnx", options);

        // 3. 创建预分配缓冲区
        var inputBuffer = new float[1 * 3 * 640 * 640];
        var outputBuffer = new float[1 * 84 * 8400];

        // 4. 异步推理循环
        Parallel.For(0, 2, (i) => {while(true) {if(_inputQueue.TryDequeue(out var imageData)) {Preprocess(imageData, inputBuffer);

                    using var inputTensor = OrtValue.CreateTensorValueWithData(_memoryInfo, inputBuffer, new long[] {1, 3, 640, 640});

                    using var outputs = session.Run(new[] {NamedOnnxValue.CreateFromTensor("images", inputTensor)
                    });

                    ProcessOutputs(outputs);
                }
            }
        });
    }
}