BEV数据增强实战：解决自动驾驶模型训练中的视角覆盖不足问题

1次阅读

共计 2018 个字符，预计需要花费 6 分钟才能阅读完成。

在自动驾驶模型训练中，BEV（Bird’s Eye View）视角的数据覆盖不足是一个普遍存在的痛点。以 nuScenes 数据集为例，统计显示约 78% 的样本存在视角盲区问题，导致模型在复杂路口或多车交汇场景的检测准确率下降 40% 以上。这种数据稀缺性主要表现在三个方面：

物理遮挡 ：相邻车辆的遮挡导致关键目标消失
传感器局限 ：单一 LiDAR 的垂直视场角通常只有 30°~40°
标注成本 ：BEV 标注需要 3D-2D 联合标定，成本是常规 2D 标注的 3 倍

传统 2D 数据增强方法（如翻转、旋转）在 BEV 空间会遇到两个核心问题：

几何失真 ：简单的仿射变换会导致 BEV 空间中的物体尺寸异常。例如对车辆做水平翻转后，其转向灯位置会违反物理规律
投影错位 ：透视变换后的点云与图像特征无法对齐，如图像中的车道线在 BEV 空间出现断裂

关键差异可通过以下变换矩阵对比看出：

\text{2D 增强}: T_{2d} = \begin{bmatrix}
\cos\theta & -\sin\theta & t_x \\
\sin\theta & \cos\theta & t_y \\
0 & 0 & 1
\end{bmatrix}
\quad
\text{BEV 增强}: T_{bev} = R_{pitch} \cdot R_{roll} \cdot K_{intrinsic}^{-1}

使用标定矩阵实现 LiDAR 与 Camera 的坐标统一：

def project_lidar_to_image(pts_3d, calib):
    """
    pts_3d: (N,3) LiDAR 点云
    calib: 标定字典包含 ['R0_rect', 'Tr_velo_to_cam', 'P2']
    """
    # 1. 坐标变换到相机坐标系
    pts_cam = np.dot(calib['Tr_velo_to_cam'], np.vstack([pts_3d.T, np.ones(pts_3d.shape[0])]))
    # 2. 考虑相机畸变 (实际工程中需要先做去畸变)
    pts_rect = np.dot(calib['R0_rect'], pts_cam[:3,:])
    # 3. 投影到图像平面
    pts_img = np.dot(calib['P2'], np.vstack([pts_rect, np.ones(pts_rect.shape[1])]))
    # 归一化处理
    pts_img[0,:] /= pts_img[2,:]
    pts_img[1,:] /= pts_img[2,:]
    return pts_img[:2,:].T

通过 OpenCV 实现保持物理约束的变换：

import cv2

def bev_rotation(bev_map, angle_deg):
    """
    bev_map: (H,W,C) BEV 特征图
    angle_deg: 旋转角度（建议限制在±15°内）"""
    h, w = bev_map.shape[:2]
    # 关键：旋转中心设为车辆当前位置
    center = (w//2, h//2)
    M = cv2.getRotationMatrix2D(center, angle_deg, 1.0)
    # 自适应调整输出尺寸
    abs_cos = abs(M[0,0])
    abs_sin = abs(M[0,1])
    bound_w = int(h * abs_sin + w * abs_cos)
    bound_h = int(h * abs_cos + w * abs_sin)
    M[0, 2] += bound_w/2 - center[0]
    M[1, 2] += bound_h/2 - center[1]
    return cv2.warpAffine(bev_map, M, (bound_w, bound_h))

对动态物体采用 mask-guided 增强：