BEVFormer训练数据标注全流程解析：从理论到实践

1次阅读

共计 2001 个字符，预计需要花费 6 分钟才能阅读完成。

BEVFormer（Bird’s Eye View Transformer）是自动驾驶领域用于环境感知的先进模型，其核心是通过多摄像头输入生成鸟瞰视角下的语义分割和目标检测结果。这种架构对训练数据提出三点核心要求：

多视角时空对齐 ：需同步 6 - 8 路摄像头数据，且相邻帧间需保持运动连续性
3D 标注精度 ：目标框需包含长宽高、朝向角等 6DOF 信息，误差需 <5cm
语义完整性 ：需标注车辆、行人、车道线等 20+ 类别，包括遮挡部分

硬件同步：激光雷达与相机需采用 PTP 协议达到 <10ms 同步精度
软件补偿：对 GPS/IMU 数据进行插值补偿，时间对齐误差需 <1 帧

透视畸变处理：远处物体在图像中仅占几个像素，需结合点云反投影
遮挡处理：标注被遮挡部分时需参考前后帧信息（如图 1 所示）

graph LR
  A[原始图像] --> B[2D 标注]
  C[点云数据] --> D[3D 标注]
  B & D --> E[时空对齐]
  E --> F[BEV 标注]

采用 TrackID 标注：同一目标在连续帧中保持相同 ID
运动补偿：使用 IMU 数据校正 ego-motion 引起的标注偏移

工具类型	代表产品	优点	缺点
商业工具	Scale AI	支持分布式标注	成本高（$5/ 帧起）
开源方案	LabelImg3D	可定制标注 schema	缺乏时序标注功能
半自动工具	CVAT+PointRCNN	支持 AI 预标注	需要 GPU 资源

数据采集：同步获取相机图像（10Hz）、激光雷达（20Hz）、IMU（100Hz）数据
传感器标定：使用棋盘格完成相机 - 激光雷达外参标定
2D 标注：在图像上标注物体边界框（需包含截断 / 遮挡标记）
3D 提升：将 2D 标注反投影到点云空间生成初始 3D 框
人工校验：调整 3D 框尺寸和朝向，补充被遮挡部分
时序关联：跨帧匹配相同目标并分配 TrackID
格式转换：生成 COCO 格式的 JSON 标注文件

import numpy as np
from bevformer.datasets import BEVFormerDataset

# 加载标注文件
def parse_annotation(ann_file):
    with open(ann_file) as f:
        data = json.load(f)

    # 转换坐标系：激光雷达到 BEV
    annotations = []
    for obj in data['objects']:
        x, y, z = obj['location']
        yaw = obj['rotation']
        # 转换为 BEV 坐标系（前 x 右 y）bev_x, bev_y = x, y
        annotations.append({'bev_bbox': [bev_x, bev_y, obj['length'], obj['width'], yaw],
            'category': obj['type']
        })
    return annotations

# 创建 PyTorch 数据集
dataset = BEVFormerDataset(
    img_dir='./data/images',
    ann_file='./data/annotations.json',
    transform=transforms.Compose([Normalize(mean=[0.485, 0.456, 0.406], 
                 std=[0.229, 0.224, 0.225])
    ])
)

交叉验证 ：让不同标注员对 10% 数据进行二次标注，计算 IoU>0.9 的比例
动态检查 ：开发检查脚本自动检测以下问题：
尺寸异常（轿车长 >5m）
速度突变（相邻帧位移差 >3m）
类别冲突（卡车标为轿车）

采用半监督学习提升效率：

预训练阶段：使用 10% 人工标注数据训练初始 BEVFormer 模型
自动标注：用模型预测未标注数据，生成伪标签
人工修正：重点修正低置信度（<0.7）的预测结果
迭代优化：每轮新增数据后重新训练模型

实验表明，该方法可减少 40% 人工标注量，同时保持 95% 以上的标注质量。

团队协作 ：采用 Git LFS 管理标注文件，设置变更审核流程
效率优化 ：
对静态物体（建筑物等）使用记忆标注
优先标注关键帧（转弯、变道等场景）
建立常见案例模板（如泊车场景标注规范）

《BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers》
《3D Auto Labeling: A Survey of Deep Learning-based Approaches》