BEV Transformer 入门指南：从原理到实战避坑

1次阅读

没有评论

共计 2470 个字符，预计需要花费 7 分钟才能阅读完成。

BEV（Bird’s Eye View）即鸟瞰图视角，是自动驾驶感知任务中的关键表示方法。相比传统的基于前视图或透视图的感知方式，BEV 具有三大核心优势：

视角一致性 ：消除透视图中的尺度变化问题，使得物体检测、轨迹预测等任务更加稳定
多传感器融合友好 ：雷达、激光雷达等不同传感器的数据可以在统一坐标系下对齐
规划控制衔接 ：直接输出自车坐标系下的环境表征，便于下游路径规划模块使用

BEV Transformer 的核心创新是将前视图特征转换为 BEV 特征。这个过程可以分解为：

深度估计 ：对每个像素预测离散深度分布
$$P_d = \text{Softmax}(\text{MLP}(F_{img}))$$
特征投影 ：将 2D 图像特征根据深度投影到 3D 空间
$$F_{3D}(u,v,d) = F_{2D}(u,v) \cdot P_d(u,v)$$
体素池化 ：将 3D 点云特征压缩到 BEV 平面

主流 BEV Transformer 采用双分支设计：

图像分支 ：ResNet+FPN 提取多尺度特征
BEV 分支 ：可学习的 BEV Query + Cross Attention 机制

关键公式：
$$\text{BEV Feature} = \text{CrossAttn}(Q_{bev}, K_{img}, V_{img})$$

import torch
import torch.nn as nn
from torch.nn.functional import grid_sample

class ViewTransformer(nn.Module):
    """2D 到 BEV 的视角转换实现"""
    def __init__(self, in_channels=256, bev_h=200, bev_w=200):
        super().__init__()
        # 深度预测头
        self.depth_head = nn.Sequential(nn.Conv2d(in_channels, 64, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(64, 42, 1)  # 假设 42 个离散深度 bin
        )
        self.bev_h = bev_h
        self.bev_w = bev_w

    def forward(self, img_feats, intrinsics, extrinsics):
        # img_feats: [B, C, H, W]
        B, C, H, W = img_feats.shape

        # 1. 预测每个像素的深度分布
        depth_logits = self.depth_head(img_feats)  # [B, D, H, W]
        depth_probs = torch.softmax(depth_logits, dim=1)

        # 2. 创建 3D 采样网格（简化版，实际需要相机参数）# ... 此处省略具体坐标变换实现...

        # 3. 体素池化得到 BEV 特征
        bev_feat = torch.zeros(B, C, self.bev_h, self.bev_w).to(img_feats.device)
        # ... 实际实现需要处理所有投影点...

        return bev_feat

梯度检查点 ：

from torch.utils.checkpoint import checkpoint

def create_custom_forward(module):
    def custom_forward(*inputs):
        return module(*inputs)
    return custom_forward

# 在训练时使用
bev_feat = checkpoint(create_custom_forward(view_transformer), img_feats, intrinsics, extrinsics)

混合精度训练 ：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

稀疏注意力 ：限制每个 BEV Query 只关注图像中的相关区域
级联 BEV 网格 ：先低分辨率生成全局特征，再逐步 refine

现象：BEV 下的检测框与真实位置存在系统性偏移

解决方案 ：
1. 检查相机标定参数是否正确传入
2. 验证视角变换矩阵的实现是否正确
3. 添加可学习的偏移量补偿（Deformable Attention）

现象：训练时出现 CUDA out of memory

解决方案 ：
1. 降低 BEV 网格分辨率（如从 200×200 降到 100×100）
2. 使用梯度累积替代大 batch_size
3. 采用 inplace 操作减少中间变量

data:
  root: /path/to/nuscenes
  version: v1.0-trainval
  image_size: [900, 1600]
  bev_size: [200, 200]

model:
  backbone: ResNet101
  bev_channels: 256
  depth_bins: 42

train:
  batch_size: 8
  lr: 2e-4
  epochs: 24