C#调用ONNX Runtime DML加速OCR推理：性能优化与生产环境实践

1次阅读

没有评论

共计 2289 个字符，预计需要花费 6 分钟才能阅读完成。

在 Windows 平台部署 OCR 模型时，传统的 CPU 推理方式在处理批量任务时往往会遇到以下性能瓶颈：

内存拷贝开销大 ：图像数据在 CPU 和推理引擎之间频繁拷贝，导致延迟增加
并发能力有限 ：CPU 核心数限制并行处理能力，批量处理时响应时间线性增长
资源利用不均 ：现代 PC 通常配备独立 GPU，但 CPU 推理无法利用这些硬件资源

ONNX Runtime 支持多种执行提供程序 (EP)，在 Windows 平台上主要有三种选择：

CUDA EP：需要 NVIDIA 显卡和 CUDA 环境，性能最优但部署复杂
TensorRT EP：需要额外转换模型，适合固定推理场景
DML EP：基于 DirectML，支持各类 DX12 兼容 GPU，部署最简单

选择 DML 后端的理由：

无需安装额外驱动，Windows 10+ 自带 DirectX 12 运行时
支持 AMD/Intel/NVIDIA 全系显卡
与 C# 生态集成度最高

首先通过 NuGet 安装必要的包：

Install-Package Microsoft.ML.OnnxRuntime
Install-Package Microsoft.ML.OnnxRuntime.DirectML

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

var sessionOptions = new SessionOptions();
sessionOptions.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL;
sessionOptions.AppendExecutionProvider_DML(0); // 使用第一个 GPU 设备

// 异常处理很重要
try 
{using var session = new InferenceSession("ocr_model.onnx", sessionOptions);
    // 推理代码...
}
catch (Exception ex)
{Console.WriteLine($"初始化失败: {ex.Message}");
}

典型的 OCR 处理流程示例：

// 图像预处理
float[] NormalizeImage(byte[] imageData, int width, int height)
{var tensor = new DenseTensor<float>(new[] {1, 3, height, width});
    for (int y = 0; y < height; y++)
    {for (int x = 0; x < width; x++)
        {
            // 转换为 CHW 布局并归一化
            tensor[0, 0, y, x] = (imageData[y * width + x] / 255f - 0.5f) / 0.5f;
            // 其他通道类似处理...
        }
    }
    return tensor.Buffer.ToArray();}

// 推理执行
string RunOCR(InferenceSession session, float[] inputTensor)
{using var input = new DenseTensor<float>(inputTensor, new[] {1, 3, 224, 224});
    var inputs = new List<NamedOnnxValue>
    {NamedOnnxValue.CreateFromTensor("input", input)
    };

    using var results = session.Run(inputs);
    var output = results.First().AsTensor<long>();

    // 转换为文本...
    return DecodeText(output);
}

测试环境：Intel i7-10750H + RTX 2060，批量处理 100 张图片

后端	平均延迟 (ms)	QPS	显存占用 (MB)
CPU	42	23.8	0
DML	11	90.9	680

关键发现：

DML 后端将吞吐量提升了近 4 倍
首次推理会有约 200ms 的初始化开销
多线程下需要为每个线程创建独立 Session

// 首次推理前运行空数据预热
var warmupInput = new float[1 * 3 * 224 * 224];
RunOCR(session, warmupInput);

using var dxgiFactory = new SharpDX.DXGI.Factory4();
var adapter = dxgiFactory.GetAdapter(0);
Console.WriteLine($"D3D12 特性级别: {adapter.CheckD3D12FeatureSupport()}");

// 获取所有可用 GPU
var providers = DirectMLExecutionProvider.GetAvailableProviders();

// 选择性能最好的设备
var bestDevice = providers
    .OrderByDescending(p => p.DedicatedMemory)
    .First();

进一步优化方向：