BEV感知实战：从零搭建纯视觉与激光雷达融合的自动驾驶Demo（附完整代码）

1次阅读

共计 2124 个字符，预计需要花费 6 分钟才能阅读完成。

自动驾驶感知系统面临的核心挑战是如何准确理解复杂环境。传统方法通常依赖单一传感器（如摄像头或激光雷达），但各有明显局限：

纯视觉方案 ：成本低且能捕捉丰富语义信息，但受光照影响大，深度估计精度不足
激光雷达方案 ：提供精确的 3D 点云数据，但对天气敏感且难以识别纹理和颜色

多模态融合的关键痛点在于：

时空对齐问题：不同传感器的数据采集频率和坐标系不一致
特征表征差异：视觉的 2D 像素空间与激光雷达的 3D 点云难以直接融合
实时性要求：融合算法需要在 100ms 内完成处理以满足车辆控制需求

方案类型	优势	劣势
纯视觉	低成本、高语义理解	深度估计不准、受光照影响大
纯激光雷达	精确 3D 测量、不受光照影响	高成本、缺乏语义信息
视觉 + 激光雷达	互补优势、鲁棒性更强	系统复杂度高、需要精确标定

BEV（鸟瞰图）表示具有三大核心优势：

统一表征空间 ：将不同传感器数据映射到同一俯视坐标系，便于融合
符合驾驶习惯 ：与高精地图和规划模块的自然接口
尺度一致性 ：避免透视变换导致的物体尺寸变化问题

graph TD
    A[摄像头数据] -->| 图像特征提取 | D(BEV 空间投影)
    B[激光雷达数据] -->| 点云特征提取 | D
    D --> E[BEV 特征融合]
    E --> F[3D 目标检测]
    F --> G[路径规划]

传感器标定
相机内参标定：使用棋盘格法获取焦距、主点等参数
激光雷达 - 相机外参标定：采用靶标法建立坐标系转换关系
BEV 空间构建
定义 BEV 网格分辨率（通常 0.1m/pixel）
确定感知范围（如 50m×50m）
特征提取与投影
视觉分支：使用 ResNet+FPN 提取多尺度特征
点云分支：采用 PointPillar 或 VoxelNet 进行体素化处理
通过可学习参数实现 2D 到 BEV 的视图变换
特征融合策略
早期融合：在原始数据层面拼接
中期融合：在 BEV 空间进行注意力加权
后期融合：检测结果级联

# 环境要求
conda create -n bev_fusion python=3.8
conda install pytorch==1.10.0 torchvision==0.11.0 cudatoolkit=11.3
pip install open3d==0.15.1 mmdetection3d==0.17.1

project/
├── configs/              # 参数配置文件
├── data_loader.py        # 多模态数据加载
├── bev_projection.py     # BEV 空间转换
├── fusion_model.py       # 融合网络架构
└── visualization.py      # 结果可视化

def bev_projection(points, img_feats, calib):
    """
    将点云和图像特征投影到 BEV 空间
    :param points: (N,3) 激光雷达点云
    :param img_feats: (C,H,W) 图像特征
    :param calib: 标定参数
    :return: bev_feat (X,Y,C) BEV 特征图
    """
    # 点云到相机坐标转换
    pts_cam = calib.lidar2cam(points)

    # 过滤地面点（高度 <1.5m）mask = pts_cam[:,2] > 1.5
    pts_cam = pts_cam[mask]

    # 生成 BEV 网格索引
    x_idx = ((pts_cam[:,0] + 25) / 0.1).astype(int)
    y_idx = ((pts_cam[:,1] + 25) / 0.1).astype(int)

    # 特征赋值
    bev_feat = np.zeros((500,500,256))
    for i in range(len(pts_cam)):
        if 0 <= x_idx[i] < 500 and 0 <= y_idx[i] < 500:
            bev_feat[x_idx[i], y_idx[i]] = img_feats[:, pts_cam[i,1], pts_cam[i,0]]

    return bev_feat