C#调用ONNX Runtime DML加速OCR推理：从模型部署到性能优化实战

1次阅读

没有评论

共计 2497 个字符，预计需要花费 7 分钟才能阅读完成。

在传统 OCR（光学字符识别）应用中，CPU 推理常常面临以下性能瓶颈：

计算密集型操作（如卷积运算）在 CPU 上执行效率低下
大批量图片处理时延迟明显增加
无法充分利用现代 GPU 的并行计算能力

DirectML（Direct Machine Learning）作为微软推出的 Windows 平台通用 GPU 加速方案，具有以下优势：

原生支持 Windows 10/11 系统
兼容多种显卡硬件（包括 NVIDIA/AMD/Intel）
无需额外安装 CUDA 等依赖
提供统一的 API 接口

ONNX Runtime 支持多种推理后端，在 Windows 平台主要有以下选择：

CPU：
兼容性最好
无需额外配置
性能最差
CUDA：
需要 NVIDIA 显卡
需安装 CUDA Toolkit
性能优秀但配置复杂
TensorRT：
需要 NVIDIA 显卡
需额外模型转换
性能最优但生态封闭
DirectML：
支持各类 Windows 显卡
即装即用
性能接近 CUDA

对于大多数 Windows 平台的 OCR 应用，DML 提供了最佳的平衡点。

首先通过 NuGet 安装所需包：

Install-Package Microsoft.ML.OnnxRuntime
Install-Package Microsoft.ML.OnnxRuntime.DirectML

创建一个安全的会话管理类：

/// <summary>
/// 封装 ONNX Runtime 推理会话
/// </summary>
public sealed class OcrEngine : IDisposable
{
    private InferenceSession _session;
    private bool _disposed = false;

    public OcrEngine(string modelPath)
    {var options = new SessionOptions();
        options.AppendExecutionProvider_DML(0); // 使用 DML 加速
        _session = new InferenceSession(modelPath, options);
    }

    // 实现 IDisposable 模式
    public void Dispose()
    {if (_disposed) return;

        _session?.Dispose();
        _disposed = true;
        GC.SuppressFinalize(this);
    }

    ~OcrEngine() => Dispose();
}

利用 GPU 加速图像预处理：

public static float[] PreprocessImage(Image image, int targetWidth, int targetHeight)
{
    // 使用 GPU 加速的图像转换
    using var resized = new Bitmap(image, new Size(targetWidth, targetHeight));

    // 转换为张量 (Tensor)
    var tensor = new float[3 * targetHeight * targetWidth];
    // ... 实际预处理逻辑

    return tensor;
}

public List<string> ProcessBatch(List<Image> images)
{var results = new List<string>(images.Count);

    // 使用内存池减少分配开销
    var memoryPool = MemoryPool<float>.Shared;

    Parallel.For(0, images.Count, i => 
    {using var owner = memoryPool.Rent(3 * InputHeight * InputWidth);
        var tensor = owner.Memory.Span;

        // 预处理
        PreprocessImage(images[i], tensor);

        // 推理
        var outputs = _session.Run(new[] 
        {NamedOnnxValue.CreateFromTensor("input", new DenseTensor<float>(tensor.ToArray(), 
                new[] { 1, 3, InputHeight, InputWidth}))
        });

        // 后处理
        results.Add(Postprocess(outputs));
    });

    return results;
}

使用 BenchmarkDotNet 测试结果示例：

方法	设备	平均耗时 (ms)	吞吐量 (imgs/s)
CPU 推理	i7-11800H	125.3	8.0
DML 加速	RTX 3060	28.7	34.8

显存不足处理 ：

try
{// 尝试 DML 推理}
catch (OutOfMemoryException)
{
    // 回退到 CPU
    options = new SessionOptions();
    _session = new InferenceSession(modelPath, options);
}

线程安全方案 ：
每个线程创建独立 Session
或使用锁保护共享 Session
FP16 精度监控 ：

var fp16Output = outputs.First().AsTensor<float>();
var diff = fp16Output.Zip(fp32ReferenceOutput, (a, b) => Math.Abs(a - b)).Average();
if (diff > 0.01f) Logger.Warning("FP16 精度损失过大");

本方案可轻松扩展到其他计算机视觉任务：