BEV自动驾驶感知架构实战：从多传感器融合到鸟瞰图生成

1次阅读

没有评论

共计 2046 个字符，预计需要花费 6 分钟才能阅读完成。

传统的前视图感知在自动驾驶中存在几个关键问题：

遮挡问题严重：前视图下，远处的物体容易被近处的物体遮挡
距离估计不准：特别是在远距离场景下，深度估计误差会被放大
与规划控制模块不匹配：规划控制需要鸟瞰图视角的环境信息

BEV 空间提供了全局一致的表示方式：

所有物体都在同一个坐标系下表示
距离和位置关系更加直观
可以直接对接下游的规划控制模块

目前主流的 BEV 生成方法主要有三类：

LSS(Lift, Splat, Shoot)：通过预测深度分布将图像特征提升到 3D 空间
CVT(Cross-View Transformers)：使用 transformer 直接学习前视图到 BEV 的映射
BEVFormer：结合了 transformer 和时序信息的 BEV 生成方法

性能对比：

方法	计算复杂度	精度	显存占用
LSS	中等	高	高
CVT	低	中等	低
BEVFormer	高	高	高

import torch
import torch.nn as nn

def frustum_projection(features, intrinsics, extrinsics, bev_size=200, bev_range=50):
    """
    将多相机特征投影到 BEV 空间
    Args:
        features: List[Tensor], 每个相机的特征图 [B,C,H,W]
        intrinsics: List[Tensor], 相机内参 [B,3,3]
        extrinsics: List[Tensor], 相机外参 [B,4,4]
        bev_size: BEV 网格大小
        bev_range: BEV 感知范围 (米)
    Returns:
        bev_feature: Tensor [B,C,bev_size,bev_size]
    """
    batch_size = features[0].shape[0]
    device = features[0].device

    # 创建 BEV 网格
    grid = torch.meshgrid(torch.linspace(-bev_range, bev_range, bev_size, device=device),
        torch.linspace(-bev_range, bev_range, bev_size, device=device)
    )
    # ... 后续投影变换代码

class CrossModalAttention(nn.Module):
    def __init__(self, dim=256, heads=8):
        super().__init__()
        self.query = nn.Linear(dim, dim)
        self.key = nn.Linear(dim, dim)
        self.value = nn.Linear(dim, dim)
        self.scale = (dim // heads) ** -0.5

    def forward(self, bev_feat, radar_feat):
        """
        bev_feat: [B,C,H,W]
        radar_feat: [B,N,C]
        """
        B, C, H, W = bev_feat.shape
        bev_feat = bev_feat.view(B, C, -1).permute(0,2,1)  # [B,HW,C]

        # 计算注意力
        q = self.query(bev_feat)
        k = self.key(radar_feat)
        v = self.value(radar_feat)

        attn = torch.bmm(q, k.transpose(1,2)) * self.scale
        attn = attn.softmax(dim=-1)
        out = torch.bmm(attn, v)

        return out.permute(0,2,1).view(B, C, H, W)

BEV 特征图分辨率与显存占用的关系：