BEVFormer训练数据标注全解析：从原理到实践

1次阅读

共计 2041 个字符，预计需要花费 6 分钟才能阅读完成。

BEVFormer（Bird’s Eye View Former）是自动驾驶领域的重要模型，它通过将多视角摄像头捕捉的图像转换为鸟瞰图（BEV）视角，实现对周围环境的感知。训练数据的标注质量直接影响模型性能，而 BEVFormer 的数据标注面临以下挑战：

视角转换 ：需要将多视角图像中的目标标注转换为统一的 BEV 坐标系。
遮挡处理 ：部分目标在不同视角下可能被遮挡，需要合理标注其完整轮廓。
标注一致性 ：不同标注人员对同一目标的标注可能存在差异，需确保数据一致性。
数据量需求 ：BEVFormer 通常需要大量标注数据，标注效率成为关键。

选择适合的标注工具是提升效率的关键。以下是几种常见工具的对比：

LabelImg：
优点：简单易用，支持目标检测框标注。
缺点：不支持多视角同步标注，需手动处理坐标系转换。
CVAT：
优点：支持多任务标注（目标检测、语义分割等），适合团队协作。
缺点：学习成本较高，对硬件要求较高。
Supervisely：
优点：支持自动化标注插件，适合大规模数据标注。
缺点：商业软件，成本较高。

对于 BEVFormer 标注，推荐使用 CVAT 或 Supervisely，因其支持多视角同步标注和团队协作。

BEVFormer 需要将多视角图像中的目标标注转换到统一的 BEV 坐标系。通常使用以下步骤：

标定摄像头参数（内参和外参）。
通过透视变换将图像坐标映射到 BEV 坐标系。
在 BEV 坐标系下统一标注目标。

在 BEV 视角下，目标检测框通常以矩形或多边形表示。标注时需注意：

目标的大小和位置需与实际物理尺寸一致。
标注框应尽量贴合目标轮廓。

语义分割标注用于区分不同类别的目标（如车辆、行人、道路等）。标注时需注意：

标注区域需精确覆盖目标边界。
不同类别的标注区域不应重叠。

以下代码展示如何将标注数据转换为 BEVFormer 所需的格式：

import numpy as np
import json

# 加载标注数据
with open("annotations.json", "r") as f:
    annotations = json.load(f)

# 定义 BEV 坐标系参数
bev_width = 1000  # BEV 图像宽度
bev_height = 1000  # BEV 图像高度

# 转换函数
def convert_to_bev(annotation, camera_params):
    # 透视变换矩阵
    homography = camera_params["homography"]

    # 转换目标框坐标
    bev_boxes = []
    for box in annotation["boxes"]:
        # 原始坐标（图像坐标系）x1, y1, x2, y2 = box["x1"], box["y1"], box["x2"], box["y2"]
        points = np.array([[x1, y1], [x2, y1], [x2, y2], [x1, y2]], dtype=np.float32)

        # 应用透视变换
        bev_points = cv2.perspectiveTransform(points.reshape(1, -1, 2), homography).reshape(-1, 2)

        # 存储转换后的坐标
        bev_boxes.append({"class": box["class"],
            "points": bev_points.tolist()})

    return bev_boxes

# 示例调用
camera_params = {"homography": np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1]])  # 示例矩阵，实际需根据标定数据填写
}
bev_annotations = convert_to_bev(annotations, camera_params)

# 保存转换后的标注
with open("bev_annotations.json", "w") as f:
    json.dump(bev_annotations, f)