C++部署轻量化检测模型：从选型到性能优化的工程实践

1次阅读

没有评论

共计 2765 个字符，预计需要花费 7 分钟才能阅读完成。

在边缘计算场景下，部署轻量化检测模型面临多重挑战。以下是一些开发者常见痛点：

内存限制：边缘设备如 Jetson Nano 通常只有 4GB 内存，需同时运行操作系统和其他服务
计算资源紧张：ARM 架构 CPU 和低功耗 GPU 的算力有限，难以承受复杂模型
框架依赖复杂：Python 环境在资源受限设备上难以维护，需要精简的 C ++ 方案
实时性要求高：工业检测等场景往往需要 30FPS 以上的稳定吞吐

主流推理引擎在 C ++ 环境下的对比：

优点：
跨平台支持最好（x86/ARM 均可运行）
支持动态输入尺寸
提供 Python 到 C ++ 的平滑迁移路径
缺点：
默认执行引擎 (MLAS) 在 ARM 上性能一般
需要手动开启 OpenMP 并行优化

优点：
NVIDIA 设备上性能最优
自动融合计算图优化
支持 FP16/INT8 量化
缺点：
仅限 NVIDIA 平台
模型转换过程复杂

优点：
移动端支持完善
模型文件体积最小
缺点：
算子支持有限
自定义 OP 开发成本高

# ONNX 模型导出时指定 opset 版本
python -m tf2onnx.convert \
    --opset 11 \
    --inputs input:0[1,224,224,3] \
    --outputs output:0 \
    --saved-model ./saved_model \
    --output model.onnx

# TensorRT INT8 量化需要校准集
trtexec --onnx=model.onnx \
    --int8 \
    --calib=calibration_images \
    --saveEngine=model_fp16.engine

cmake_minimum_required(VERSION 3.10)
project(detection)

# 必须设置 C ++17 标准
set(CMAKE_CXX_STANDARD 17)

find_package(OpenCV REQUIRED)
find_package(ONNXRuntime REQUIRED)

add_executable(detector
    src/main.cpp
    src/preprocess.cpp
    src/nms.cpp
)

target_link_libraries(detector
    PRIVATE
    ${OpenCV_LIBS}
    onnxruntime
)

// BGR 转 RGB + 归一化
cv::Mat preprocess(cv::Mat& img) {
    cv::Mat rgb;
    cv::cvtColor(img, rgb, cv::COLOR_BGR2RGB);
    rgb.convertTo(rgb, CV_32F, 1.0/255);

    // 注意 NHWC 到 NCHW 的转换
    std::vector<cv::Mat> channels;
    cv::split(rgb, channels);
    cv::Mat nchw;
    cv::merge(channels, nchw);

    return nchw.reshape(1, {1,3,img.rows,img.cols});
}

void cudaNMS(const float* boxes, const float* scores, 
            int num_boxes, float iou_threshold,
            std::vector<int>& keep_indices) {

    // 分配设备内存
    float* d_boxes;
    float* d_scores;
    int* d_keep;

    cudaMalloc(&d_boxes, num_boxes * 4 * sizeof(float));
    cudaMalloc(&d_scores, num_boxes * sizeof(float));
    cudaMalloc(&d_keep, num_boxes * sizeof(int));

    // 拷贝数据到设备
    cudaMemcpy(d_boxes, boxes, 
              num_boxes*4*sizeof(float), cudaMemcpyHostToDevice);
    cudaMemcpy(d_scores, scores, 
              num_boxes*sizeof(float), cudaMemcpyHostToDevice);

    // 调用 CUDA 核函数
    nms_kernel<<<grid, block>>>(d_boxes, d_scores, 
                              num_boxes, iou_threshold, d_keep);

    // 取回结果
    int* h_keep = new int[num_boxes];
    cudaMemcpy(h_keep, d_keep, 
              num_boxes*sizeof(int), cudaMemcpyDeviceToHost);

    // 释放资源
    cudaFree(d_boxes);
    cudaFree(d_scores);
    cudaFree(d_keep);
}

精度	FPS	内存占用(MB)
FP32	15.2	1123
FP16	28.7	589
INT8	41.5	327

安装 Nsight Systems
```
sudo apt install nsight-systems-2023.1
```

采集性能数据

nsys profile -o profile.qdrep \
    ./detector --model yolov5s-int8.engine

常见优化点：
内存拷贝耗时占比过高 → 启用 CUDA Graph
核函数启动延迟 → 增加批处理大小
计算图存在冗余 → 使用 TensorRT 优化

// 初始化时分配最大可能内存
std::vector<float> input_buffer;
input_buffer.reserve(MAX_BATCH * 3 * 1920 * 1080);

// 每次推理前调整实际大小
input_buffer.resize(batch * channels * height * width);