基于C#与YOLO的目标实时监测系统开发实战：从模型集成到人员入侵检测

1次阅读

没有评论

共计 2382 个字符，预计需要花费 6 分钟才能阅读完成。

传统监控系统主要依赖人工查看或简单的移动侦测，存在几个明显问题：

实时性差：人工监控无法 7 ×24 小时保持专注，容易漏检
准确率低：基于背景差分的移动侦测会产生大量误报（如光线变化、树叶摇动）
智能化不足：无法识别具体目标类型（人 / 车 / 动物）和行为分析

YOLO(You Only Look Once) 作为单阶段目标检测算法，在速度和精度上实现了突破：

端到端检测：单次推理即可完成所有目标的定位和分类
实时性能：YOLOv5 在 1080Ti 上可达 140FPS（640×640 输入）
轻量化部署：支持导出 ONNX/TensorRT 等工业级推理格式

在 C# 生态中部署深度学习模型主要有三种方案：

TensorFlow.NET/PyTorch 绑定
优点：可以直接使用原生 API
缺点：依赖复杂，版本兼容性问题多
ML.NET
优点：微软官方机器学习框架
缺点：对计算机视觉支持有限
ONNX Runtime
优点：跨框架统一接口，支持硬件加速
缺点：需要额外模型转换步骤

选择 ONNX Runtime 的核心考量：

模型兼容性：可转换 PyTorch/TensorFlow 等框架训练的模型
部署简便性：单个 DLL 依赖，无需复杂环境配置
性能优势：支持 CUDA/TensorRT 加速

使用 OpenCVSharp 捕获 RTSP 流的关键代码：

// 创建视频捕获实例
using var capture = new VideoCapture(rtspUrl);

// 设置缓冲区大小（减少延迟）capture.Set(VideoCaptureProperties.BufferSize, 3);

// 读取帧循环
while (true)
{using var frame = new Mat();
    if (!capture.Read(frame) || frame.Empty())
        break;

    // 处理帧...
}

YOLOv5 模型预处理典型实现：

// 创建推理会话
var session = new InferenceSession("yolov5s.onnx");

// 输入张量预处理
var inputTensor = new DenseTensor<float>(new[] {1, 3, 640, 640});
using var processed = new Mat();

// 调整大小 + 归一化
Cv2.Resize(frame, processed, new Size(640, 640));
processed.ConvertTo(processed, MatType.CV_32FC3, 1/255f);

// 转换为 NCHW 格式并填充张量
var channels = Cv2.Split(processed);
for (int c = 0; c < 3; c++)
{Buffer.BlockCopy(channels[c].Data, 0, 
        inputTensor.Buffer, c * 640 * 640 * 4,
        640 * 640 * 4);
}

生产者 - 消费者模式实现方案：

// 共享队列
var frameQueue = new BlockingCollection<Mat>(10);

// 生产者线程（视频采集）Task.Run(() => 
{while (!stopped)
    {var frame = CaptureFrame();
        frameQueue.Add(frame);
    }
});

// 消费者线程（模型推理）Parallel.For(0, 2, i => 
{foreach (var frame in frameQueue.GetConsumingEnumerable())
    {using (frame)
        {DetectObjects(frame);
        }
    }
});

var options = SessionOptions.MakeSessionOptionWithCudaProvider();
options.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL;
options.AppendExecutionProvider_TensorRT(new OrtTensorRTProviderOptions() 
    { 
        DeviceId = 0,
        TrtMaxWorkspaceSize = 1 << 30 
    });

var session = new InferenceSession("yolov5s.trt", options);

使用 BenchmarkDotNet 的测试结果示例：