100路视频实时分析架构实战：算力与显存评估的优化方案

1次阅读

共计 1911 个字符，预计需要花费 5 分钟才能阅读完成。

在视频分析领域，100 路 1080P 视频流实时处理是一个典型的高并发场景。以常见的 NVIDIA T4 显卡为例，单卡仅 16GB 显存，按照常规 YOLOv5 模型推理计算：

单路 1080P 视频解码后帧缓存约 8MB（NV12 格式）
目标检测模型显存占用约 1.2GB（FP16 精度）
传统静态批处理模式下，处理 20 路视频即需显存 20*(8+1.2)=200MB+24GB，远超显卡容量

实际测试中发现两个核心问题：

显存碎片化 ：固定 batch size 导致部分显存无法复用
管道阻塞 ：解码线程与推理线程争抢 CPU 资源

方案	1080P 解码延迟	CPU 占用率	GPU 显存占用
OpenCV 软解	12ms	85%	0MB
FFmpeg NV 解码	3ms	15%	8MB/ 路

引擎	FP16 延迟	INT8 延迟	动态 shape 支持
ONNX Runtime	8.2ms	6.1ms	部分
TensorRT 8.4	6.7ms	4.3ms	完整

最终选择 FFmpeg+NVDEC 硬件解码配合 TensorRT 动态推理的组合方案。

def adaptive_batching(frames: list, max_batch=16, fps_thresh=25):
    """
    基于帧率自适应的动态批处理
    :param frames: 待处理帧列表
    :param max_batch: 最大 batch size
    :param fps_thresh: 触发动态调整的帧率阈值
    :return: 批处理分组列表
    """
    current_fps = calculate_fps(frames[-10:])  # 取最近 10 帧计算 FPS

    if current_fps < fps_thresh:
        batch_size = min(max_batch, len(frames)//2)  # 低帧率时减少 batch
    else:
        batch_size = max_batch

    return [frames[i:i+batch_size] for i in range(0, len(frames), batch_size)]

初始化时预分配 80% 显存（约 12.8GB）
采用 CUDA 统一内存管理：

cudaError_t err = cudaMallocManaged(&pool_ptr, pool_size);

建立显存块的双向链表结构，实现 O(1) 时间复杂度的分配 / 释放

使用 5000 张校准图片生成量化参数
对敏感层（如检测头）采用混合精度：

# TensorRT builder 配置
builder_config = builder.create_builder_config()
builder_config.set_flag(trt.BuilderFlag.INT8)
builder_config.set_flag(trt.BuilderFlag.FP16)  # 混合精度

import torch

def print_gpu_memory():
    allocated = torch.cuda.memory_allocated() / 1024**2
    cached = torch.cuda.memory_reserved() / 1024**2
    total = torch.cuda.get_device_properties(0).total_memory / 1024**2
    print(f"[MEM] Alloc: {allocated:.1f}MB, Cached: {cached:.1f}MB,"
          f"Total: {total:.1f}MB")

nsys profile -t cuda,nvtx \
             -o gpu_timeline \
             --capture-range=cudaProfilerApi \
             --stats=true \
             python inference.py