自动驾驶入门：Camera与LiDAR融合数据标注的实战指南

1次阅读

没有评论

共计 2159 个字符，预计需要花费 6 分钟才能阅读完成。

自动驾驶系统的开发依赖于高质量的多模态数据标注，尤其是 Camera（摄像头）与 LiDAR（激光雷达）的融合标注。然而，这一过程面临诸多挑战：

传感器标定误差 ：Camera 和 LiDAR 的坐标系不同，需要通过标定对齐，但标定过程中的微小误差会导致融合数据出现偏差。
时间不同步 ：Camera 和 LiDAR 的数据采集时间若未严格同步，会导致帧间错位，影响标注精度。
数据量大 ：LiDAR 点云数据通常包含数十万个点，手动标注效率极低。
多模态对齐复杂 ：Camera 的 2D 图像与 LiDAR 的 3D 点云需要精确对齐，这对标注工具和算法提出了较高要求。

选择合适的标注工具是高效完成融合标注的关键。以下是几种主流工具的对比：

LabelBox：
优点：支持多模态数据标注，提供协作功能，适合团队使用。
缺点：价格较高，对大规模点云数据的支持有限。
CVAT：
优点：开源免费，支持基本的 2D 和 3D 标注。
缺点：点云标注功能较弱，缺乏高级融合标注功能。
自定义工具 ：
优点：灵活性强，可根据需求定制功能。
缺点：开发成本高，维护复杂。

传感器标定分为内参标定和外参标定：

内参标定 ：
Camera 内参标定：通过棋盘格标定板计算焦距、主点坐标和畸变系数。
LiDAR 内参标定：通常由厂商提供，无需用户额外标定。
外参标定 ：
目标：计算 Camera 与 LiDAR 之间的旋转矩阵和平移向量（即外参矩阵）。
方法：使用标定板或自然特征点匹配，通过优化算法求解外参。

时间同步方案包括：

硬件同步 ：通过 GPS 或 PTP 协议实现高精度同步，误差可控制在毫秒级。
软件同步 ：基于时间戳插值对齐，成本低但精度稍逊。

对齐策略包括：

点云投影 ：将 LiDAR 点云投影到 Camera 图像平面，利用外参矩阵实现坐标转换。
图像标注反投影 ：将 2D 标注结果反投影到 3D 点云中，实现双向验证。

以下是一个标定验证的 Python 示例，使用 OpenCV 和 Open3D 库：

import cv2
import open3d as o3d
import numpy as np

# 加载标定数据
camera_matrix = np.load("camera_matrix.npy")  # Camera 内参
dist_coeffs = np.load("dist_coeffs.npy")      # 畸变系数
rotation_matrix = np.load("rotation_matrix.npy")  # 旋转矩阵
translation_vector = np.load("translation_vector.npy")  # 平移向量

# 加载点云和图像
point_cloud = o3d.io.read_point_cloud("point_cloud.pcd")
image = cv2.imread("image.png")

# 点云投影
def project_points(points, camera_matrix, dist_coeffs, rvec, tvec):
    projected, _ = cv2.projectPoints(points, rvec, tvec, camera_matrix, dist_coeffs)
    return projected.squeeze()

# 可视化
projected_points = project_points(np.asarray(point_cloud.points), camera_matrix, dist_coeffs, rotation_matrix, translation_vector)
for pt in projected_points:
    cv2.circle(image, tuple(pt.astype(int)), 2, (0, 255, 0), -1)

cv2.imshow("Projected Points", image)
cv2.waitKey(0)

标注效率优化方法包括：