C#调用ONNX Runtime DML加速OCR推理：从环境配置到性能优化实战

1次阅读

没有评论

共计 2635 个字符，预计需要花费 7 分钟才能阅读完成。

在 OCR 场景中，传统 CPU 推理常面临两大问题：

吞吐量瓶颈：处理高分辨率图片时，单线程 CPU 难以满足实时性要求，例如身份证识别需 200ms 以上响应时间
资源利用率低：现代 CPU 的 SIMD 指令集对矩阵运算优化有限，而 OCR 模型包含大量卷积计算

以某物流面单识别场景为例，在 Intel i7-10700K 上运行 CRNN 模型时：

CPU 平均推理耗时：87ms/ 张
8 线程批量处理时 GPU 利用率不足 15%

ONNX Runtime 支持多种 Execution Provider(EP)，Windows 平台常见选项：

EP 类型	硬件要求	适用场景	典型加速比
CPU	无特殊要求	兼容性优先	1x
DML	DirectX 12 兼容 GPU	Windows 桌面应用	3-5x
CUDA	NVIDIA GPU	服务器环境	5-8x

为什么选择 DML：

无需安装 CUDA 等额外驱动
完美兼容 Windows 10/11 DX12 运行时
支持 AMD/NVIDIA/Intel 全系显卡

安装 Visual Studio 2019+（需包含 C# 开发组件）
确保系统已安装 DirectX 12（Win10 1809+ 默认支持）
显卡驱动更新至最新版本

<PackageReference Include="Microsoft.ML.OnnxRuntime" Version="1.13.1" />
<PackageReference Include="Microsoft.ML.OnnxRuntime.DirectML" Version="1.13.1" />

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

class OcrEngine : IDisposable
{
    private InferenceSession _session;

    public OcrEngine(string modelPath)
    {var options = new SessionOptions();
        options.AppendExecutionProvider_DML(0);  // 使用第一个 GPU 设备
        options.EnableMemoryPattern = false;     // 禁用内存模式提升吞吐

        _session = new InferenceSession(modelPath, options);
    }

    public string ProcessImage(byte[] imageData)
    {
        // 预处理（示例：转换为 CHW 格式的 Tensor）using var inputTensor = Preprocess(imageData);

        // 创建输入容器
        var inputs = new List<NamedOnnxValue>
        {NamedOnnxValue.CreateFromTensor(_session.InputNames[0], inputTensor)
        };

        // 推理执行
        using var results = _session.Run(inputs);

        // 后处理
        return Postprocess(results);
    }

    private Tensor<float> Preprocess(byte[] imageData)
    {
        // 实际项目需实现图像归一化 / 标准化
        var tensor = new DenseTensor<float>(new[] {1, 3, 32, 320});
        // ... 填充 tensor 数据...
        return tensor;
    }

    private string Postprocess(IDisposableReadOnlyCollection<DisposableNamedOnnxValue> results)
    {
        // 解析输出 Tensor 为文本
        var output = results.First().AsTensor<long>();
        // ... 实现 CTC 解码等逻辑...
        return "识别结果";
    }

    public void Dispose()
    {_session?.Dispose();
    }
}

内存复用 ：通过EnableMemoryPattern=false 禁用内存模式，适合固定尺寸输入
异步处理 ：结合System.Threading.Tasks 实现流水线并行
输入预处理 ：使用System.Numerics.Tensors 避免数据拷贝

测试环境：
– CPU: Intel i7-11800H
– GPU: NVIDIA RTX 3060 Laptop (6GB VRAM)
– 模型: CRNN (12MB ONNX)

批大小	CPU 耗时(ms)	DML 耗时(ms)	加速比
1	83	19	4.37x
8	642	121	5.31x
16	1285	234	5.49x

DML 要求 ONNX Runtime 1.8+ 版本
Windows 10 版本需≥1809（Build 17763）

try
{return ProcessWithDML(imageData);
}
catch (OnnxRuntimeException ex) when (ex.Message.Contains("DML"))
{
    // 回退到 CPU 模式
    var cpuOptions = new SessionOptions();
    return new InferenceSession(modelPath, cpuOptions);
}

每个线程维护独立的 InferenceSession 实例
避免并发调用Session.Run()
推荐使用 ConcurrentQueue 实现生产者 - 消费者模式

// 在 UWP 应用中可优先使用 WinML
var learningModel = LearningModel.LoadFromFilePath(modelPath);
var session = new LearningModelSession(learningModel, LearningModelDeviceKind.DirectX);

优势：
– 自动处理 GPU 内存管理
– 支持 DX12 高级特性
– 更低的端到端延迟

通过 DML 后端，我们在保持代码简洁性的同时获得了显著的性能提升。实际项目中还需要注意：