自动驾驶中的Camera+Lidar融合数据标注：多模态标注方案与工程实践

1次阅读

没有评论

共计 1397 个字符，预计需要花费 4 分钟才能阅读完成。

在自动驾驶系统的开发过程中，数据标注是模型训练的基础环节。传统的单模态标注方法（如单独标注 Camera 图像或 Lidar 点云）存在几个明显的局限性：

视角不对齐问题 ：Camera 和 Lidar 采集的数据来自不同视角，单独标注容易导致目标在不同模态中的位置不一致
标注效率低下 ：需要人工分别在图像和点云中标注同一目标，工作量大且容易出错
信息利用不充分 ：单模态标注无法充分利用多模态数据的互补优势

目前主流的 Camera+Lidar 融合标注策略主要有两种：

PointPainting：将图像语义信息投影到点云上，增强点云特征
优点：保留了点云的空间精度
缺点：图像信息可能因遮挡而丢失
Early Fusion：在原始数据层面进行融合
优点：信息损失最小
缺点：计算复杂度高

我们推荐使用 3D 点云投影到 2D 图像的标注方法，主要步骤如下：

数据同步校准 ：
使用标定板获取 Camera 和 Lidar 的外参矩阵
通过时间戳对齐确保数据同步
点云投影 ：
将 3D 点云转换到相机坐标系
应用相机内参矩阵投影到 2D 图像
标注传递 ：
在点云中标注 3D 边界框
自动投影到图像生成 2D 标注

以下是使用 Python 实现点云到图像投影的核心代码：

import numpy as np
import open3d as o3d
import cv2

def project_pointcloud_to_image(points_3d, camera_matrix, dist_coeffs, ext_matrix):
    """
    将 3D 点云投影到 2D 图像
    :param points_3d: Nx3 numpy 数组，点云坐标
    :param camera_matrix: 3x3 相机内参矩阵
    :param dist_coeffs: 相机畸变系数
    :param ext_matrix: 4x4 外参矩阵 (Lidar 到 Camera)
    :return: 投影后的 2D 点坐标
    """
    # 转换到相机坐标系
    points_cam = np.dot(ext_matrix[:3, :3], points_3d.T).T + ext_matrix[:3, 3]

    # 投影到图像平面
    points_2d, _ = cv2.projectPoints(points_cam, 
                                    np.zeros(3), 
                                    np.zeros(3), 
                                    camera_matrix, 
                                    dist_coeffs)

    return points_2d.squeeze()

对于大规模点云处理，可以使用 CUDA 进行加速：