BEVFormer训练数据标注实战指南：从原理到避坑

1次阅读

共计 2046 个字符，预计需要花费 6 分钟才能阅读完成。

BEVFormer 是自动驾驶领域中的一种重要感知模型，它通过鸟瞰图（BEV）视角来理解车辆周围的环境。这种视角转换使得模型能够更好地处理多摄像头数据，并实现更准确的 3D 物体检测和场景理解。然而，这种视角转换也给训练数据的标注带来了独特的挑战。

BEVFormer 的输入通常包括多个摄像头的图像数据，以及可能的雷达或激光雷达数据。这些数据需要在 BEV 空间中进行标注，这意味着标注人员需要将 2D 图像中的物体投影到 3D 空间，然后再映射到 BEV 视角。这种多步骤的转换过程使得标注工作变得复杂，且容易引入误差。

在 BEV 空间下进行数据标注，主要面临以下几个核心挑战：

视角变换导致的物体形变 ：当物体从 2D 图像投影到 BEV 空间时，由于视角的变化，物体的形状和大小可能会发生显著变化。这种形变使得标注边界框变得困难。
时序一致性维护 ：BEVFormer 通常需要处理时序数据，因此在标注时需要确保同一物体在不同时间步中的标注是一致的。时序不一致会导致模型学习到错误的运动模式。
多传感器数据融合 ：如果使用了雷达或激光雷达数据，还需要将这些传感器的数据与摄像头数据对齐。传感器之间的标定误差会直接影响标注的准确性。

时间同步 ：确保所有传感器的数据时间戳对齐，通常使用硬件同步或软件同步方法。
空间标定 ：通过标定棋盘格或特定目标物，计算摄像头与雷达 / 激光雷达之间的外参矩阵。这一步至关重要，因为标定误差会直接传递到 BEV 空间。

2D 标注 ：在原始图像中标注物体的 2D 边界框或分割掩码。这一步通常可以使用传统的标注工具完成。
3D 投影 ：将 2D 标注投影到 3D 空间，需要使用摄像头的内参和外参矩阵。这里的关键是深度估计的准确性。
BEV 映射 ：将 3D 空间中的物体映射到 BEV 平面。这一步需要定义一个地面平面，并假设物体在地面之上的高度。

关键帧标注 ：选择时间序列中的关键帧进行标注，然后使用插值或跟踪算法生成中间帧的标注。
一致性检查 ：确保同一物体在不同帧中的 ID 保持一致，避免 ID 切换问题。

目前市面上有几种工具可以用于 BEV 标注，以下是它们的比较：

LabelBEV：专为 BEV 标注设计，支持多传感器数据融合和时序标注。优点是界面友好，缺点是扩展性较差。
CVAT：通用的标注工具，通过插件支持 BEV 标注。优点是功能强大且开源，缺点是配置复杂。

以下是一个简单的 Python 代码示例，展示如何将 2D 标注转换为 BEV 空间中的 3D 标注：

import numpy as np

def project_2d_to_3d(bbox_2d, camera_matrix, depth_map):
    """
    将 2D 边界框投影到 3D 空间
    :param bbox_2d: 2D 边界框坐标 [x1, y1, x2, y2]
    :param camera_matrix: 摄像头内参矩阵 3x3
    :param depth_map: 深度图
    :return: 3D 边界框坐标 [x, y, z, w, h, l]
    """
    # 计算 2D 边界框的中心点
    center_x = (bbox_2d[0] + bbox_2d[2]) / 2
    center_y = (bbox_2d[1] + bbox_2d[3]) / 2

    # 获取深度值
    depth = depth_map[int(center_y), int(center_x)]

    # 将 2D 点反投影到 3D 空间
    point_2d = np.array([center_x, center_y, 1])
    point_3d = np.linalg.inv(camera_matrix) @ point_2d * depth

    return point_3d

标注质量可以通过以下几个量化指标进行评估：