C# 实现 YOLO 算法：从模型加载到实时目标检测的完整指南

1次阅读

共计 3604 个字符，预计需要花费 10 分钟才能阅读完成。

YOLO（You Only Look Once）是目标检测领域的颠覆性算法，它将传统两阶段检测（如 RCNN 系列）的 ” 找区域 + 分类 ” 合并成单次网格预测。最新 YOLOv5 模型在 COCO 数据集上能达到 140FPS 的推理速度，比 v3 版本快 3 倍的同时精度还提升 10%。

工业级应用案例：
– 生产线上的零件缺陷检测（特斯拉电池组装配线）
– 商场热力图统计（分析顾客停留区域）
– 交通摄像头中的违章行为识别

经过实测对比：

框架	推理延迟(ms)	GPU 支持	模型格式兼容性
ONNX Runtime	38	完整	PyTorch/TF 等
ML.NET	112	受限	仅部分格式

推荐 NuGet 套餐：

<PackageReference Include="Microsoft.ML.OnnxRuntime" Version="1.15.1" />
<PackageReference Include="OpenCvSharp4" Version="4.7.0.20230115" />
<PackageReference Include="OpenCvSharp4.runtime.win" Version="4.7.0.20230115" />

// 必须保持与训练时相同的预处理
using var src = new Mat("input.jpg");
using var resized = new Mat();
Cv2.Resize(src, resized, new Size(640, 640));  // YOLOv5 默认输入尺寸

// 归一化到 0 - 1 范围并转 RGB 通道顺序
var inputTensor = new DenseTensor<float>(new[] {1, 3, 640, 640});
for (int y = 0; y < 640; y++)
{for (int x = 0; x < 640; x++)
    {var pixel = resized.At<Vec3b>(y, x);
        inputTensor[0, 0, y, x] = pixel[2] / 255f;  // R
        inputTensor[0, 1, y, x] = pixel[1] / 255f;  // G
        inputTensor[0, 2, y, x] = pixel[0] / 255f;  // B
    }
}

官方预训练模型下载（注意版本对应）：

wget https://github.com/ultralytics/yolov5/releases/download/v6.2/yolov5s.onnx

安全加载方案：

var options = new SessionOptions()
{
    GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL,
    EnableCpuMemArena = true  // 减少内存碎片
};

// 显式指定 GPU（需安装 CUDA 版的 onnxruntime）if (useGpu)
    options.AppendExecutionProvider_CUDA();

using var session = new InferenceSession("yolov5s.onnx", options);

sequenceDiagram
    participant 摄像头 as 视频流
    participant 队列 as 缓冲队列
    participant Worker1 as 预处理线程
    participant Worker2 as 推理线程
    participant UI as 渲染界面

    摄像头 ->> 队列: 放入原始帧
    Worker1->> 队列: 取出帧
    Worker1->>Worker1: 图像标准化
    Worker1->>Worker2: 提交张量
    Worker2->>Worker2: GPU 推理
    Worker2->>UI: 带检测结果的帧

非极大值抑制 (NMS) 的 C# 实现：

// boxes: 检测框列表
// scores: 置信度
// threshold: IoU 重叠阈值
static List<int> NMS(List<Rect> boxes, List<float> scores, float threshold)
{var indices = Enumerable.Range(0, boxes.Count)
        .OrderByDescending(i => scores[i])
        .ToList();

    var selected = new List<int>();
    while (indices.Count > 0)
    {var current = indices[0];
        selected.Add(current);

        for (int i = indices.Count - 1; i > 0; i--)
        {var idx = indices[i];
            var iou = CalculateIoU(boxes[current], boxes[idx]);
            if (iou > threshold)
                indices.RemoveAt(i);
        }
        indices.RemoveAt(0);
    }
    return selected;
}

模型类型	大小(MB)	CPU 延迟(ms)	mAP@0.5
FP32	27.3	46	0.56
INT8 量化	6.8	29	0.53

量化命令（需安装 onnxruntime 工具包）：

python -m onnxruntime.quantization.preprocess \
    --input yolov5s.onnx --output yolov5s_quant.onnx

// 检查 GPU 可用性
var providers = SessionOptions.GetAvailableProviders();
if (providers.Contains("CUDA"))
{
    options.AppendExecutionProvider_CUDA(new OrtCUDAProviderOptions() 
        { 
            DeviceId = 0,
            ArenaExtendStrategy = 1  // 动态增长显存
        });
}

async Task ProcessVideoAsync(string path, CancellationToken token)
{using var capture = new VideoCapture(path);
    var buffer = new BlockingCollection<Mat>(5);  // 防爆内存

    // 生产者线程
    var producer = Task.Run(() =>
    {while (!token.IsCancellationRequested)
        {var frame = new Mat();
            if (capture.Read(frame))
                buffer.Add(frame);
        }
    });

    // 消费者线程池
    var workers = Enumerable.Range(0, 2)
        .Select(_ => Task.Run(() =>
        {foreach (var frame in buffer.GetConsumingEnumerable())
            {using (frame)
                {DetectObjects(frame);
                }
            }
        }))
        .ToArray();

    await Task.WhenAll(workers);
}

YOLOv5 输入必须是 [1,3,640,640] 的 CHW 格式
输出可能是[1,25200,85]（v5）或[1,3,80,80,85]（v8）

// 错误示例：每次循环都新建 session
foreach (var img in images)
{using var session = new InferenceSession("model.onnx"); // 致命！session.Run(...);
}

// 正确做法：单例模式管理
class YoloService : IDisposable
{
    private readonly InferenceSession _session;
    public YoloService() => _session = new InferenceSession(...);
    public void Dispose() => _session.Dispose();
}