自动驾驶中的Camera+Lidar融合数据标注：原理、挑战与高效标注方案

1次阅读

共计 1852 个字符，预计需要花费 5 分钟才能阅读完成。

在自动驾驶感知系统中，相机（Camera）和激光雷达（Lidar）是两种最核心的传感器。Camera 提供丰富的纹理和颜色信息，适合用于目标识别和场景理解；而 Lidar 则能提供精确的距离测量，不受光照条件影响。两者的数据融合可以显著提升感知系统的鲁棒性和准确性。

然而，融合标注过程中存在几个典型痛点：

时间不同步导致的投影偏差 ：Camera 和 Lidar 的数据采集频率不同，时间戳未对齐会导致投影偏差。
点云（Point Cloud）与图像的分辨率差异 ：Lidar 的点云稀疏，而 Camera 图像分辨率高，直接匹配困难。
坐标系对齐问题 ：Camera 和 Lidar 的坐标系需要精确标定，否则融合标注会出现偏差。

传统的人工标注依赖标注员手动对齐 Camera 和 Lidar 数据，效率低且容易出错。自动化工具链则通过标定参数和时间同步算法，显著提升标注效率和一致性。

基于标定参数的时间同步方法可以通过以下公式实现：

$$ t_{sync} = t_{lidar} + \Delta t $$

其中，$t_{lidar}$ 是 Lidar 的时间戳，$\Delta t$ 是 Camera 和 Lidar 之间的时间偏差，通过标定获得。

以下是 3D BBox 到 2D 图像的投影校验算法的伪代码：

# 输入：3D BBox 的 8 个顶点坐标，相机内参矩阵 K，外参矩阵 [R|t]
# 输出：2D 图像上的投影坐标
def project_3d_to_2d(vertices_3d, K, R, t):
    vertices_2d = []
    for vertex in vertices_3d:
        # 转换为齐次坐标
        vertex_homo = np.append(vertex, 1)
        # 应用外参变换
        vertex_cam = R @ vertex_homo + t
        # 应用内参变换
        vertex_2d = K @ vertex_cam
        # 归一化
        vertex_2d = vertex_2d / vertex_2d[2]
        vertices_2d.append(vertex_2d[:2])
    return vertices_2d

以下是用 Open3D 和 OpenCV 实现坐标系转换的 Python 代码片段：

import open3d as o3d
import cv2
import numpy as np

# 加载点云和图像
pcd = o3d.io.read_point_cloud("point_cloud.pcd")
img = cv2.imread("image.png")

# 相机内参和外参
K = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]])  # 内参矩阵
R = np.array([[r11, r12, r13], [r21, r22, r23], [r31, r32, r33]])  # 旋转矩阵
t = np.array([tx, ty, tz])  # 平移向量

# 坐标系转换
def transform_point_cloud(pcd, R, t):
    points = np.asarray(pcd.points)
    points_transformed = (R @ points.T + t).T
    pcd_transformed = o3d.geometry.PointCloud()
    pcd_transformed.points = o3d.utility.Vector3dVector(points_transformed)
    return pcd_transformed

# 异常处理：点云缺失时的降级方案
if len(pcd.points) == 0:
    print("Warning: Point cloud is empty, using fallback method.")
    # 降级方案，例如仅使用图像数据
else:
    pcd_transformed = transform_point_cloud(pcd, R, t)