BEVFormer预训练模型配置实战指南：从零搭建到性能调优

1次阅读

共计 2663 个字符，预计需要花费 7 分钟才能阅读完成。

BEVFormer 作为自动驾驶领域的重要模型，通过将多视角摄像头输入转换为鸟瞰图 (BEV) 特征表示，极大地简化了 3D 目标检测和地图分割等任务的复杂性。然而在实际使用中，开发者常遇到预训练模型加载失败、训练效率低下、推理速度慢等问题。本文将从零开始，手把手教你配置和使用 BEVFormer 预训练模型。

在开始之前，我们需要确保硬件和软件环境准备妥当。以下是经过验证的稳定环境组合：

硬件建议
GPU: NVIDIA RTX 3090 及以上(24GB 显存)
CPU: Intel i7 10 代以上
内存: 32GB 以上
软件依赖
CUDA: 11.3
cuDNN: 8.2.1
Python: 3.8
PyTorch: 1.10.0+cu113
mmdetection3d: 1.0.0
mmcv-full: 1.6.0

安装命令示例：

conda create -n bevformer python=3.8 -y
conda activate bevformer
pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
pip install mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.10.0/index.html
pip install mmdet==2.25.0
pip install mmdet3d==1.0.0

BEVFormer 提供了多个预训练模型，我们需要根据任务需求选择合适的版本。以下是一个完整的模型加载示例：

from mmdet3d.apis import init_model

# 配置文件路径
config_file = 'configs/bevformer/bevformer_base.py'
# 预训练模型路径
checkpoint_file = 'checkpoints/bevformer_r101_dcn_24ep.pth'

# 初始化模型
model = init_model(config_file, checkpoint_file, device='cuda:0')

# 关键参数说明
# - config_file: 定义了模型结构和训练参数
# - checkpoint_file: 包含预训练权重的文件
# - device: 指定运行设备

BEVFormer 对输入数据有特定要求，正确的数据预处理能显著提升训练效果：

图像尺寸调整到 900×1600
使用多尺度增强(MultiScaleFlipAug)
归一化使用 ImageNet 均值方差

train_pipeline = [dict(type='LoadMultiViewImageFromFiles', to_float32=True),
    dict(type='PhotoMetricDistortionMultiViewImage'),
    dict(type='NormalizeMultiviewImage', **img_norm_cfg),
    dict(type='PadMultiViewImage', size_divisor=32),
    dict(type='DefaultFormatBundle3D', class_names=class_names),
    dict(type='Collect3D', keys=['img', 'gt_bboxes_3d', 'gt_labels_3d'])
]

BEVFormer 使用余弦退火学习率调度器，初始学习率建议设置为 2e-4，配合线性 warmup：

optimizer = dict(
    type='AdamW', 
    lr=2e-4,
    weight_decay=0.01)

lr_config = dict(
    policy='CosineAnnealing',
    warmup='linear',
    warmup_iters=500,
    warmup_ratio=1.0/3,
    min_lr_ratio=1e-3)

使用 TensorRT 部署
应用半精度推理(FP16)
启用 CUDA Graph

# 转换为 ONNX 格式
torch.onnx.export(
    model,
    dummy_input,
    "bevformer.onnx",
    input_names=["input"],
    output_names=["output"],
    opset_version=11,
    dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}})

# 使用 TensorRT 转换
trtexec --onnx=bevformer.onnx --saveEngine=bevformer.engine --fp16

显存不足
减小 batch_size
使用梯度累积
尝试混合精度训练
训练不收敛
检查学习率设置
验证数据标注质量
尝试更小的模型版本
推理速度慢
优化后处理代码
使用更高效的 NMS 实现
考虑模型量化

以下是一个完整的训练 - 推理流程示例：

# 训练脚本
tools/train.py configs/bevformer/bevformer_base.py --gpus 4

# 推理脚本
from mmdet3d.apis import inference_detector, init_model, show_result_meshlab

model = init_model(config_file, checkpoint_file, device='cuda:0')
result = inference_detector(model, pcd_file)
show_result_meshlab(data, result, out_dir)

BEVFormer 原始论文: https://arxiv.org/abs/2203.17270
MMDetection3D 文档: https://mmdetection3d.readthedocs.io
自动驾驶数据集: nuScenes, Waymo Open Dataset