基于C#和OpenCV的目标检测计数实战：从算法选型到性能优化

1次阅读

共计 2943 个字符，预计需要花费 8 分钟才能阅读完成。

在工厂流水线或仓储盘点场景中，传统计数方法主要有三大硬伤：

背景差分法 对光照变化极度敏感，早上和下午的摄像头画面能差出 20% 的误判率
帧间差分法 遇到传送带上的静止物体直接失效，而动态调整阈值又会导致计数结果像心电图一样波动
轮廓检测 在物体重叠时（比如堆叠的纸箱）会合并成单个 blob，实测重叠 3 个以上物体时准确率跌破 60%

去年帮某电子厂改造 SMT 贴片元件计数系统时，就遇到过传送带反光导致每天要人工复核 10% 的批次。这就是我们转向深度学习方案的直接原因。

框架	模型支持	部署复杂度	推理速度(1080p)
TensorFlow.NET	所有 TF 模型	高	45ms/ 帧
ML.NET	自定义轻型模型	低	120ms/ 帧
OpenCV+ONNX	YOLO/SSD 等	中	28ms/ 帧

选择 OpenCV 有四个现实理由：

产线工控机多是 Windows 系统，OpenCV 的 C ++ 原生库在 DNN 模块有深度优化
ONNX 运行时内存占用比 TensorFlow 少 30%，在 4GB 内存设备上也能跑 YOLOv5s
我们的视频处理管线本来就用了 OpenCV 做预处理，减少数据跨框架传递开销
产线设备通常禁用 Python 环境，而 OpenCVSharp 可以直接 NuGet 安装

关键点在于正确处理 NHWC 到 NCHW 的转换，YOLOv5 的官方 PyTorch 模型输出需要额外处理：

// 模型加载
var net = CvDnn.ReadNetFromONNX("yolov5s.onnx");
net.SetPreferableBackend(Backend.OPENCV);
net.SetPreferableTarget(Target.CPU);

// 预处理（注意保持与训练时相同的归一化方式）var blob = CvDnn.BlobFromImage(frame, 1/255.0, 
    new Size(640, 640), 
    new Scalar(0,0,0), 
    true, false);

// 推理
net.SetInput(blob);
var output = net.Forward();

// 后处理（输出是 1x25200x85 的矩阵）var rawData = new float[output.Total()];
output.GetArray(out rawData);
var detections = ParseYoloOutput(rawData, frame.Width, frame.Height);

采用生产者 - 消费者模式时容易忽略的细节：

graph LR
    A[视频采集线程] -->|Queue| B[检测线程池]
    B -->|ConcurrentBag| C[追踪计数线程]

使用 BlockingCollection 实现有界队列防止内存暴涨
每个检测线程独立维护 Net 对象避免 OpenCV 的线程安全问题
计数线程采用双缓冲策略：当前帧结果直接输出，同时异步更新追踪状态

当两个检测框 IOU>0.7 时，用匈牙利算法解决 ID 分配问题：

// 代价矩阵计算
private double[,] BuildCostMatrix(List<Detection> prev, List<Detection> current)
{var matrix = new double[prev.Count, current.Count];
    for(int i=0; i<prev.Count; i++)
        for(int j=0; j<current.Count; j++)
            matrix[i,j] = 1 - IoU(prev[i].Rect, current[j].Rect);
    return matrix;
}

// 使用 HungarianAlgorithm 库求解
var assignments = HungarianAlgorithm.Solve(costMatrix);

OpenCV 的 Mat 对象原生支持 SIMD，但需要手动开启：

// 在 app.config 中添加运行时指令
<runtime>
    <gcAllowVeryLargeObjects enabled="true" />
    <Thread_UseAllCpuGroups enabled="true" />
</runtime>

// 矩阵运算前检查 SIMD 状态
if (Cv2.HardwareConcurrency() >= 8)
{Cv2.SetUseOptimized(true);
    Cv2.SetNumThreads(4);  // 实测 4 线程性价比最高
}

检测过程中会频繁创建 640×640 的临时 Mat，采用对象池后 GC 暂停从 200ms/ 分钟降到 5ms：

public class MatPool : IDisposable
{private ConcurrentBag<Mat> _pool = new();

    public Mat Rent(Size size, MatType type)
    {if(!_pool.TryTake(out var mat))
            return new Mat(size, type);

        if(mat.Size() != size || mat.Type() != type)
        {mat.Dispose();
            return new Mat(size, type);
        }
        return mat;
    }

    public void Return(Mat mat) => _pool.Add(mat);
}

YOLOv5 的 onnx 模型输出 shape 是(1,25200,85)，但某些导出工具会变成(1,3,80,80,85)。遇到维度不匹配时用 Netron 可视化模型：

python -m pip install netron
netron yolov5s.onnx

永远不要在锁内调用第三方库（OpenCV 某些方法会内部加锁）
使用 Monitor.TryEnter 设置超时，超过 100ms 直接放弃当前帧
线程间共享的 Mat 对象要用 Mat.Clone() 深拷贝

对连续 10 帧的计数结果做滑动窗口滤波：

private Queue<int> _countHistory = new(10);

public int StableCount 
{
    get {if(_countHistory.Count < 3) return CurrentCount;
        return (int)_countHistory.Average();}
}

这套方案可以无缝迁移到 Azure Functions：