BEVFusion预训练权重下载与部署实战：从模型获取到高效推理

1次阅读

没有评论

共计 2424 个字符，预计需要花费 7 分钟才能阅读完成。

BEVFusion 作为多模态 3D 目标检测的先进模型，在自动驾驶领域展现出显著优势。它通过融合相机和激光雷达数据，在 nuScenes 等权威数据集上实现了 SOTA 性能。然而在实际应用中，开发者常遇到以下问题：

官方仓库的预训练权重更新不及时，部分版本缺失
网盘分享链接容易失效，下载速度慢
缺乏权威的校验方法，权重文件完整性无法保证
多环境部署时依赖冲突频繁

正确克隆含 LFS 的仓库：

安装 Git LFS：curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
执行克隆：git lfs clone https://github.com/ADLab-AutoDrive/BEVFusion.git

校验脚本示例（Python）：

import hashlib
def verify_weights(file_path, expected_hash):
    sha256 = hashlib.sha256()
    with open(file_path, 'rb') as f:
        while chunk := f.read(8192):
            sha256.update(chunk)
    return sha256.hexdigest() == expected_hash

# 官方提供的基准哈希值
BEVFUSION_V1_HASH = '9a8f3c2d...' 
assert verify_weights('bevfusion.pth', BEVFUSION_V1_HASH)

在 RTX 3090 上的性能测试：

框架	推理时延 (ms)	mAP@0.5
PyTorch FP32	68	42.1
ONNX FP16	41	41.9
TensorRT	29	41.8

import torch
from models.bevfusion import BEVFusion

def load_checkpoint(model, ckpt_path, strict=True):
    try:
        state_dict = torch.load(ckpt_path, map_location='cpu')
        # 处理可能的 key 不匹配问题
        if 'model' in state_dict:  # 检查是否为完整 checkpoint
            state_dict = state_dict['model']
        model.load_state_dict(state_dict, strict=strict)
    except Exception as e:
        print(f'Load failed: {str(e)}')
        # 尝试修复常见 key 不匹配
        new_dict = {k.replace('module.', ''): v 
                   for k,v in state_dict.items()}
        model.load_state_dict(new_dict, strict=False)

model = BEVFusion(backbone_conf, head_conf)
load_checkpoint(model, 'weights/bevfusion.pth')

def prepare_inputs(image, point_cloud, calib):
    """
    image: [B, 3, H, W] RGB 格式
    point_cloud: [N, 4] (x,y,z,intensity)
    calib: 标定矩阵字典
    """
    # 图像归一化
    img_mean = torch.tensor([0.485, 0.456, 0.406])
    img_std = torch.tensor([0.229, 0.224, 0.225])
    image = (image - img_mean[:,None,None]) / img_std[:,None,None]

    # 点云体素化
    voxel_size = [0.1, 0.1, 0.2]
    pc_range = [-51.2, -51.2, -5.0, 51.2, 51.2, 3.0]
    voxels = voxelize(point_cloud, voxel_size, pc_range)

    return {'image': image.float(),
        'voxels': voxels,
        'calib': calib
    }

分块推理 ：当输入尺寸过大时，可对点云进行空间分块处理

def chunk_inference(model, pc, chunk_size=50000):
    results = []
    for i in range(0, len(pc), chunk_size):
        chunk = pc[i:i+chunk_size]
        with torch.no_grad():
            results.append(model(chunk))
    return merge_results(results)

梯度检查点 ：训练时使用 torch.utils.checkpoint

CUDA 版本不匹配 ：创建新的 conda 环境时指定正确版本
```
conda install pytorch==1.12.1 cudatoolkit=11.3 -c pytorch
```

ONNX 转换失败 ：检查自定义算子的支持情况

torch.onnx.export(
    model,
    dummy_input,
    'model.onnx',
    opset_version=13,
    input_names=['image', 'voxels'],
    dynamic_axes={'image': {0: 'batch'}, 'voxels': {0: 'batch'}}
)