BEV投影在自动驾驶中的原理与实践：从传感器融合到鸟瞰图生成

1次阅读

没有评论

共计 2415 个字符，预计需要花费 7 分钟才能阅读完成。

自动驾驶系统通常配备多种传感器，如摄像头、激光雷达和毫米波雷达。这些传感器从不同视角采集环境信息：

摄像头提供丰富的纹理和颜色信息，但受限于透视投影，远处的物体显得更小
激光雷达提供精确的三维点云，但缺乏语义信息
毫米波雷达擅长测速，但对静态物体识别能力有限

视角差异 导致这些传感器数据难以直接融合。例如，摄像头视野中的一辆车可能在激光雷达点云中呈现为一系列离散点。BEV 投影技术通过将所有传感器数据映射到统一的鸟瞰图空间，解决了这一关键问题。

逆透视变换 (IPM) 基于以下假设：
1. 地面是平坦的
2. 相机外参（高度、俯仰角）精确已知

优点：
– 计算高效，适合实时系统
– 无需训练数据

缺点：
– 地面不平或车辆颠簸时性能下降
– 无法处理遮挡关系

基于 Transformer 的 BEV 生成方法：
1. 通过交叉注意力机制建立图像像素与 BEV 网格的对应关系
2. 自动学习透视变换规律

优势：
– 能处理复杂场景
– 端到端优化

劣势：
– 需要大量标注数据
– 计算资源消耗大

从图像坐标 $(u,v)$ 到 BEV 坐标 $(x,y)$ 的变换：

\begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = H \cdot \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}

其中单应矩阵 $H$ 由相机内参 $K$ 和外参 $[R|t]$ 决定：

H = K \cdot R \cdot \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ -t_x/t_z & -t_y/t_z & 1/t_z \end{bmatrix}

import cv2
import numpy as np

def create_bev_projection(cam_matrix, height, pitch):
    """
    创建 BEV 投影矩阵
    :param cam_matrix: 相机内参矩阵 3x3
    :param height: 相机离地高度（米）:param pitch: 相机俯仰角（弧度）:return: 投影矩阵 3x3
    """
    # 旋转矩阵（绕 X 轴旋转）R = np.array([[1, 0, 0],
        [0, np.cos(pitch), -np.sin(pitch)],
        [0, np.sin(pitch), np.cos(pitch)]
    ])

    # 平移向量
    t = np.array([0, -height, 0])

    # 计算单应矩阵
    H = cam_matrix @ R @ np.array([[1, 0, 0],
        [0, 1, 0],
        [-t[0]/t[2], -t[1]/t[2], 1/t[2]]
    ])

    return H

# 示例使用
cam_matrix = np.array([[1000, 0, 640],
    [0, 1000, 360],
    [0, 0, 1]
])
bev_H = create_bev_projection(cam_matrix, height=1.5, pitch=np.deg2rad(-10))

# 应用变换
img = cv2.imread('front_view.jpg')
bev = cv2.warpPerspective(img, bev_H, (1280, 720))

将点云投影到地面平面
创建 BEV 高度图
与摄像头 BEV 图像融合：

def lidar_to_bev(points, resolution=0.1, size=(100,100)):
    """
    将激光雷达点云转换为 BEV 高度图
    :param points: Nx3 点云数组
    :param resolution: 米 / 像素
    :param size: 输出图像尺寸（像素）:return: BEV 高度图
    """
    # 转换为 BEV 坐标
    bev_coords = points[:, :2] / resolution
    bev_coords += np.array([size[0]//2, size[1]//2])

    # 创建高度图
    height_map = np.zeros(size)
    for x, y, z in points:
        px, py = int(x/resolution + size[0]//2), int(y/resolution + size[1]//2)
        if 0 <= px < size[0] and 0 <= py < size[1]:
            height_map[px, py] = max(height_map[px, py], z)

    return height_map

分块处理：将 BEV 空间划分为多个区域，按需处理
分辨率分级：远距离使用低分辨率，近距离高分辨率
CUDA 加速：使用 PyTorch 或 TensorRT 加速矩阵运算

class TemporalBEV:
    def __init__(self, decay=0.8):
        self.history = None
        self.decay = decay

    def update(self, current_bev):
        if self.history is None:
            self.history = current_bev
        else:
            self.history = self.decay * self.history + (1-self.decay) * current_bev
        return self.history

解决方案：
1. 使用稠密点云估计地面高度图
2. 动态调整 IPM 参数
3. 采用深度学习模型自动适应地形变化