C# 实现 YOLO 算法：从模型加载到实时目标检测的完整解决方案

1次阅读

没有评论

共计 2906 个字符，预计需要花费 8 分钟才能阅读完成。

在计算机视觉领域，Python 生态拥有 OpenCV、PyTorch 等成熟工具链，而 C# 开发者常面临三大困境：

库生态差距 ：直到 ML.NET 1.0 发布前，.NET 缺乏成熟的深度学习框架直接支持
GPU 加速门槛 ：需要手动处理 CUDA 依赖和内存拷贝，不像 Python 有 torch.cuda 抽象层
模型转换损耗 ：从 PyTorch 导出 ONNX 时易丢失自定义算子，导致 C# 端推理精度下降

针对 YOLOv5 模型部署，我们实测三种方案：

ONNX Runtime：
优势：跨平台支持最好，支持 GPU EP 和 TensorRT EP
劣势：动态输入尺寸需手动修改模型
DirectML：
优势：Windows 原生支持，DX12 底层优化
劣势：Linux/Mac 不可用
LibTorch：
优势：完美兼容 PyTorch 模型
劣势：需要额外 500MB+ 的 C++ 依赖

推荐组合：ONNX Runtime + CUDA EP，平衡性能和部署便利性

使用 ML.NET 的 OnnxTransformer 时，关键配置参数：

var pipeline = mlContext.Transforms
    .ApplyOnnxModel(
        modelFile: "yolov5s.onnx",
        gpuDeviceId: 0,  // 指定 GPU
        fallbackToCpu: false);

性能技巧 ：
– 启用 OrtSessionOptions.EnableMemoryPattern 减少内存分配
– 设置 OrtSessionOptions.ExecutionMode = ExecutionMode.ORT_SEQUENTIAL 避免线程竞争

在 appsettings.json 配置计算后端：

{
  "InferenceConfig": {
    "ExecutionProvider": "CUDA",
    "DeviceId": 0,
    "ArenaMemoryGB": 2
  }
}

通过环境变量控制显存分配：

export ORT_CUDA_GEMM_OPTIONS=1 # 启用 TensorCore 加速

YOLO 输出是 25200×85 的矩阵，传统循环处理耗时严重。我们采用 SIMD 并行优化：

// 使用 System.Numerics 向量化计算
Vector<float> scoreThreshold = new Vector<float>(0.5f);
for (int i = 0; i < output.Length; i += Vector<float>.Count)
{var scores = new Vector<float>(output, i);
    var mask = Vector.GreaterThan(scores, scoreThreshold);
    ...
}

public class YoloDetector : IDisposable
{
    private PredictionEngine<ImageInput, DetectionOutput> _engine;

    public YoloDetector(string modelPath)
    {var mlContext = new MLContext();
        var pipeline = mlContext.Transforms
            .ResizeImages(
                outputColumnName: "images",
                imageWidth: 640,
                imageHeight: 640)
            .Append(mlContext.Transforms
                .ExtractPixels(
                    outputColumnName: "images",
                    scaleImage: 1f / 255f));

        var model = pipeline.Fit(mlContext.Data.LoadFromEnumerable(new List<ImageInput>()));
        _engine = mlContext.Model.CreatePredictionEngine<ImageInput, DetectionOutput>(model);
    }

    public IList<DetectionResult> Detect(Mat image)
    {// 预处理 + 推理 + 后处理完整流程}
}

private List<DetectionResult> ApplyNMS(IList<DetectionResult> detections, float iouThreshold)
{var results = new List<DetectionResult>();
    foreach (var cls in detections.GroupBy(d => d.Label))
    {var boxes = cls.OrderByDescending(d => d.Score).ToList();

        while (boxes.Count > 0)
        {results.Add(boxes[0]);
            boxes.RemoveAt(0);

            for (int i = boxes.Count - 1; i >= 0; i--)
            {if (CalculateIoU(results.Last().Box, boxes[i].Box) > iouThreshold)
                    boxes.RemoveAt(i);
            }
        }
    }
    return results;
}

实现 IDisposable 规范释放 ONNX 会话
使用 MemoryPool<byte> 分配图像缓冲区
通过 dotnet-counters 监控非托管内存

[ThreadStatic]
private static PredictionEngine<ImageInput, DetectionOutput> _threadLocalEngine;

采用文件监视 + 双缓冲切换：

FileSystemWatcher watcher = new FileSystemWatcher("./models");
watcher.Changed += (s, e) => 
{Interlocked.Exchange(ref _currentModel, LoadModel(e.FullPath));
};

输入尺寸不匹配 ：
错误：Invalid input dimensions
解决：导出 ONNX 时固定输入尺寸 --batch-size 1 --imgsz 640
CUDA out of memory：
错误：ORT_FAIL - out of memory
解决：设置 OrtSessionOptions.AddConfigEntry("memory.enable_memory_arena_shrinkage", "1")
后处理性能瓶颈 ：
现象：推理 10ms，后处理 200ms
优化：用 Span<T> 替代数组操作，启用 AllowSynchronousContinuations