自动驾驶中的Camera+Lidar融合数据标注：原理、挑战与高效标注方案

1次阅读

共计 2474 个字符，预计需要花费 7 分钟才能阅读完成。

在自动驾驶感知系统中，摄像头 (Camera) 和激光雷达 (Lidar) 是两种最重要的传感器。Camera 提供丰富的纹理和颜色信息，适合用于物体识别和场景理解；Lidar 则能精确测量物体的距离和三维形状，不受光照条件影响。两者的数据融合可以互补优势，提升感知系统的鲁棒性。

然而，在实际的融合数据标注过程中，我们经常会遇到以下几个典型问题：

时间不同步导致的投影偏差：由于 Camera 和 Lidar 的数据采集时间不完全同步，直接投影会产生位置偏移。
点云与图像的分辨率差异：Lidar 点云 (Point Cloud) 稀疏且不均匀分布，与高分辨率图像难以精确匹配。
标注一致性维护困难：在多模态数据上标注同一物体时，容易出现 3D 框 (3D Bounding Box) 和 2D 框 (2D Bounding Box) 不一致的情况。

传统的人工标注方法存在效率低下、一致性差的问题。一个熟练的标注员每天只能完成几百帧数据的标注，而且难以保证多模态数据间的标注一致性。相比之下，自动化工具链可以显著提升效率和质量：

标注速度提升 3 - 5 倍
标注一致性提高 40% 以上
支持自动质量检查

要实现精确的时间同步，我们需要利用标定参数进行时间对齐。假设 Camera 和 Lidar 的时间偏差为 Δt，则可以通过最小化重投影误差来估计：

$$
\min_{\Delta t} \sum_{i=1}^N ||\pi(T_{camera}^{lidar}p_i(t+\Delta t)) – u_i||^2
$$

其中，π 是相机投影函数，$T_{camera}^{lidar}$ 是 Lidar 到 Camera 的变换矩阵，$p_i$ 是点云中的点，$u_i$ 是图像中的对应点。

# 伪代码：3D BBox 到 2D 图像的投影校验
def verify_projection(bbox3d, bbox2d, calib_params):
    # 将 3D 框 8 个角点投影到图像平面
    corners_3d = bbox3d.get_corners()
    corners_2d = [project_point(p, calib_params) for p in corners_3d]

    # 计算投影后的 2D 边界框
    min_x = min(p[0] for p in corners_2d)
    max_x = max(p[0] for p in corners_2d)
    min_y = min(p[1] for p in corners_2d)
    max_y = max(p[1] for p in corners_2d)

    # 计算与标注 2D 框的 IoU
    projected_bbox = [min_x, min_y, max_x, max_y]
    iou = calculate_iou(projected_bbox, bbox2d)

    return iou > threshold

下面是一个使用 Open3D 和 OpenCV 实现坐标系转换的 Python 示例：

import numpy as np
import open3d as o3d
import cv2

def transform_point_cloud(pcd, transform_matrix):
    """
    将点云转换到新的坐标系
    :param pcd: 输入点云(Open3D 格式)
    :param transform_matrix: 4x4 变换矩阵
    :return: 转换后的点云
    """
    if len(pcd.points) == 0:
        return pcd  # 空点云直接返回

    points = np.asarray(pcd.points)
    # 转换为齐次坐标
    points_homo = np.hstack([points, np.ones((points.shape[0], 1))])
    # 应用变换
    transformed_points = (transform_matrix @ points_homo.T).T[:, :3]

    # 创建新的点云对象
    new_pcd = o3d.geometry.PointCloud()
    new_pcd.points = o3d.utility.Vector3dVector(transformed_points)
    if pcd.has_colors():
        new_pcd.colors = pcd.colors
    return new_pcd

# 异常处理：点云缺失时的降级方案
def safe_project_points(points_3d, camera_matrix, dist_coeffs=None):
    """
    安全地将 3D 点投影到图像平面
    :param points_3d: Nx3 的 3D 点数组
    :param camera_matrix: 3x3 相机内参矩阵
    :param dist_coeffs: 畸变系数(可选)
    :return: Nx2 的 2D 点数组
    """
    if points_3d.shape[0] == 0:
        return np.zeros((0, 2))  # 返回空数组

    if dist_coeffs is None:
        dist_coeffs = np.zeros(5)

    points_2d, _ = cv2.projectPoints(points_3d.astype(np.float32),
        np.zeros(3),  # rvec
        np.zeros(3),  # tvec
        camera_matrix,
        dist_coeffs
    )
    return points_2d.reshape(-1, 2)

对于标注团队的协作，建议采用以下版本控制策略：