C#调用ONNX Runtime DML实现OCR推理加速：从环境配置到性能优化实战

1次阅读

没有评论

共计 3842 个字符，预计需要花费 10 分钟才能阅读完成。

在实时 OCR 场景中，当使用 CPU 进行模型推理时，经常会遇到处理速度跟不上业务需求的情况。特别是对于复杂 OCR 模型，单张图片的推理时间可能达到几百毫秒，这在需要处理大量文档或实时识别的场景中会成为明显的性能瓶颈。

ONNX Runtime 提供了多种 GPU 加速后端，其中 DirectML（DML）是微软针对 Windows 平台开发的通用 GPU 加速方案。与 CUDA 相比，DML 的主要优势在于：

不需要 NVIDIA 显卡，支持 AMD/Intel/NVIDIA 等多种显卡
Windows 原生支持，无需额外安装 CUDA Toolkit
对 DirectX 12 兼容设备有良好优化

首先需要确保开发环境满足以下要求：

Windows 10/11 64 位系统
DirectX 12 兼容显卡（建议至少 4GB 显存）
最新显卡驱动程序
.NET 6+ 或 .NET Core 3.1+

安装必要的 NuGet 包：

// 在项目文件中添加以下包引用
<PackageReference Include="Microsoft.ML.OnnxRuntime" Version="1.14.0" />
<PackageReference Include="Microsoft.ML.OnnxRuntime.DirectML" Version="1.14.0" />

下面是使用 DML 进行 OCR 推理的基础代码框架：

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

public class OCRDmlInference : IDisposable
{
    private readonly InferenceSession _session;

    public OCRDmlInference(string modelPath)
    {
        // 创建 DML Session 选项
        var options = new SessionOptions();
        options.AppendExecutionProvider_DML(0); // 0 表示使用第一个 GPU 设备
        options.EnableMemoryPattern = true;
        options.ExecutionMode = ExecutionMode.ORT_SEQUENTIAL;

        _session = new InferenceSession(modelPath, options);
    }

    public string Infer(byte[] imageData)
    {
        // 预处理图像（根据实际模型需求调整）var inputTensor = PreprocessImage(imageData);

        // 创建输入容器
        var inputs = new List<NamedOnnxValue>
        {NamedOnnxValue.CreateFromTensor(_session.InputNames[0], inputTensor)
        };

        // 执行推理
        using var results = _session.Run(inputs);

        // 后处理获取文本结果
        return PostprocessResult(results);
    }

    private Tensor<float> PreprocessImage(byte[] imageData)
    {
        // 实现具体的图像预处理逻辑
        // 返回符合模型输入要求的张量
    }

    private string PostprocessResult(IDisposableReadOnlyCollection<DisposableNamedOnnxValue> results)
    {// 实现后处理逻辑，提取识别文本}

    public void Dispose()
    {_session?.Dispose();
    }
}

ONNX Runtime 的 Session 不是线程安全的，对于高并发场景，可以采用以下策略：

public class OCRDmlInferencePool : IDisposable
{
    private readonly ConcurrentBag<InferenceSession> _sessionPool;
    private readonly string _modelPath;
    private readonly int _poolSize;

    public OCRDmlInferencePool(string modelPath, int poolSize = 4)
    {
        _modelPath = modelPath;
        _poolSize = poolSize;
        _sessionPool = new ConcurrentBag<InferenceSession>();

        // 初始化 Session 池
        for (int i = 0; i < poolSize; i++)
        {_sessionPool.Add(CreateNewSession());
        }
    }

    private InferenceSession CreateNewSession()
    {var options = new SessionOptions();
        options.AppendExecutionProvider_DML(0);
        return new InferenceSession(_modelPath, options);
    }

    public string Infer(byte[] imageData)
    {if (!_sessionPool.TryTake(out var session))
        {session = CreateNewSession();
        }

        try
        {
            // 执行推理逻辑
            return RunInference(session, imageData);
        }
        finally
        {_sessionPool.Add(session);
        }
    }

    public void Dispose()
    {while (_sessionPool.TryTake(out var session))
        {session.Dispose();
        }
    }
}

对于批量图片处理，可以使用模型的批量输入能力显著提升吞吐量：

public List<string> BatchInfer(List<byte[]> imageBatch)
{
    // 预处理所有图像
    var inputTensors = imageBatch.Select(PreprocessImage).ToList();

    // 堆叠成批量张量
    var batchTensor = new DenseTensor<float>(new Memory<float>(inputTensors.SelectMany(t => t.Buffer.Span).ToArray()),
        new[] { imageBatch.Count, inputTensors[0].Dimensions[0], 
                inputTensors[0].Dimensions[1], inputTensors[0].Dimensions[2] });

    var inputs = new List<NamedOnnxValue>
    {NamedOnnxValue.CreateFromTensor(_session.InputNames[0], batchTensor)
    };

    using var results = _session.Run(inputs);
    return ProcessBatchResult(results, imageBatch.Count);
}

我们在以下硬件配置上进行测试：

CPU: Intel i7-11800H
GPU: NVIDIA RTX 3060 (6GB VRAM)
RAM: 32GB
测试模型: PP-OCRv3 (输入尺寸 3x48x320)

测试结果对比：

模式	单张耗时(ms)	批量 16 张耗时(ms)	显存占用(MB)
CPU	78.2	1250.4	0
DML	23.5	152.8	1100
DML(批量)	18.7	89.6	1800

常见性能瓶颈及解决方案：

PCIe 带宽限制：
症状：GPU 利用率低但 CPU 预处理耗时高
解决方案：将预处理也移到 GPU 上执行，或使用异步流水线
VRAM 不足：
症状：批量处理时出现 OutOfMemory 异常
解决方案：减小批量大小，或使用动态批量策略
内核启动开销：
症状：小批量处理时性能提升不明显
解决方案：增加批量大小，或使用持续推理模式

在将 DML 加速的 OCR 服务部署到生产环境前，请确保完成以下检查：

驱动兼容性验证：
运行 dxdiag 检查 DirectX 版本是否为 12
确保安装了显卡制造商提供的最新驱动

显存监控机制：

// 使用 Windows API 查询显存信息
[DllImport("d3d12.dll")]
private static extern int D3D12GetDebugInterface([MarshalAs(UnmanagedType.LPStruct)] Guid riid, out IntPtr ppvDebug);

public static long GetAvailableVideoMemory()
{// 实现显存查询逻辑}