Atlas 200i 推理加速 YOLOv5 实战指南：从模型部署到性能优化

1次阅读

没有评论

共计 2139 个字符，预计需要花费 6 分钟才能阅读完成。

在智慧安防、工业质检等场景中，我们常常需要将深度学习模型部署到边缘设备。但边缘设备往往面临三大挑战：

算力限制：相比云端服务器，边缘设备的 CPU/GPU 性能有限
内存瓶颈：模型参数量大时容易爆内存
实时性要求：工业场景通常要求 100ms 内完成推理

我最近在一个工业质检项目中就遇到了这些问题。客户要求在一台 Atlas 200i 上实时检测 20 类缺陷，原始 YOLOv5s 模型在 1080p 图像上只能跑到 8FPS，完全达不到产线要求。

对比几款主流边缘计算设备：

NVIDIA Jetson 系列：
优势：CUDA 生态完善
劣势：功耗较高（10W+），价格昂贵
Intel Movidius：
优势：功耗极低（1W）
劣势：仅支持 INT8 量化
Atlas 200i：
昇腾 310 芯片专为推理优化
典型功耗 5W
支持 FP16/INT8 混合精度
性价比突出

实际测试中，Atlas 200i 在运行 YOLOv5s 时，INT8 模式下功耗仅 3.8W，是 Jetson Nano 的 1 /3。

首先导出标准 ONNX 模型：

import torch
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')

# 导出时固定动态轴
input_names = ['images']
output_names = ['output']
dynamic_axes = {'images': {0: 'batch'}, 'output': {0: 'batch'}}

torch.onnx.export(
    model,
    torch.randn(1, 3, 640, 640),
    "yolov5s.onnx",
    opset_version=12,
    input_names=input_names,
    output_names=output_names,
    dynamic_axes=dynamic_axes
)

关键点：
– 使用 opset 12 以上版本
– 显式指定 batch 维度为动态

使用 ATC 工具转换：

atc --model=yolov5s.onnx \
    --framework=5 \
    --output=yolov5s \
    --soc_version=Ascend310 \
    --input_format=NCHW \
    --input_fp16_nodes="images" \
    --insert_op_conf=aipp.cfg

其中 aipp.cfg 文件配置图像预处理：

{
    "input_format":"RGB888_U8",
    "src_image_size_w":640,
    "src_image_size_h":640,
    "crop":false
}

选择 500 张典型场景图片，存放在 calib_data 文件夹。创建校准描述文件：

calib_data/1.jpg 0
calib_data/2.jpg 1
...

atc --model=yolov5s.onnx \
    --output=yolov5s_int8 \
    --quantize=INT8 \
    --calibration_data_file=calib.txt \
    --quantization_algorithm=KL

量化后模型大小从 14MB 减小到 4.2MB。

通过 AscendCL 接口实现动态 batch：

// 创建模型描述
aclmdlDesc* modelDesc = aclmdlCreateDesc();
aclmdlLoadFromFile("yolov5s.om", &modelDesc);

// 设置动态 batch
int32_t batchNum = 4; // 最大 batch 数
aclmdlSetDynamicBatchSize(modelDesc, 0, batchNum);

// 执行推理
std::vector<aclDataBuffer*> inputs = {input1, input2};
aclmdlExecute(modelDesc, inputs.size(), inputs.data(), outputs.data());

实测 batch= 4 时吞吐量提升 3.2 倍。