BEV自动驾驶入门指南：从传感器融合到鸟瞰图生成

1次阅读

共计 1907 个字符，预计需要花费 5 分钟才能阅读完成。

传统前视图感知就像司机只看正前方挡风玻璃：

遮挡问题 ：前车完全挡住行人时，前视相机根本看不见（BEV 可通过多视角融合推测被遮挡区域）
尺度失真 ：远处 10 米的车和近处 5 米的车在前视图上可能显示为同样大小（BEV 保持真实世界尺度）
多传感器对齐困难 ：激光雷达点云和前视图像素需要复杂坐标转换（BEV 提供统一表达空间）

IPM（逆透视变换）
适用场景：地面平坦且相机俯角大的场景（如停车场环视）
计算开销：仅需矩阵运算（适合嵌入式设备）
致命缺陷：遇到坡道或起伏路面会产生严重畸变
Lift-Splat-Shoot（特斯拉方案）
核心思想：把 2D 图像特征 ” 抬升 ” 到 3D 空间再投影到 BEV 网格
计算成本：需要运行 3D 卷积（Jetson AGX Xavier 上约 50ms/ 帧）
优势：能处理复杂地形，支持端到端训练

用 PyTorch 搭建一个简化版 BEV 网络（完整代码见 GitHub）：

class BEVEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        # 前视图特征提取（ResNet18 backbone）self.cnn = resnet18(pretrained=True)  
        # 将 2D 特征转 BEV 的 Transformer
        self.transformer = nn.Transformer(
            d_model=256,
            nhead=8,
            num_encoder_layers=4
        )
        # BEV 网格位置编码（关键！）self.bev_pos = nn.Parameter(torch.randn(1, 256, 50, 50))  # 50x50 网格

    def forward(self, img, calib):
        # img: (B,3,H,W)   calib: (B,3,3) 相机内参
        img_feat = self.cnn(img)  # (B,256,H/32,W/32)

        # 将图像特征 "拍平" 并添加相机位置编码
        flat_feat = img_feat.flatten(2)  # (B,256,N)
        flat_feat = flat_feat + self.cam_pos(calib)  # 相机位置编码函数

        # 用 Transformer 将特征映射到 BEV 空间
        bev_feat = self.transformer(flat_feat.permute(2,0,1),  # (N,B,C)
            self.bev_pos.flatten(2).permute(2,0,1) # (M,B,C)
        )  # 输出 (M,B,C)

        return bev_feat.permute(1,2,0).view(-1,256,50,50)  # 恢复 BEV 网格

关键张量变换说明：

cam_pos(calib)：根据相机内参计算该视角在 BEV 空间的观测范围
bev_pos：可学习的参数，表示 BEV 网格的初始先验分布
Transformer 的 Q 来自 BEV 网格，K/ V 来自图像特征，实现跨视角注意力

当 BEV 中出现 ” 重影 ” 现象时（如下图），往往是因为标定误差：

[实际场景]    [错误 BEV 效果]
  汽车 A ----------> 汽车 A'汽车 A''

诊断步骤：

打印每个相机的投影矩阵验证外参
用棋盘格标定板检查角点重投影误差（应 <1 像素）
动态标定：在车辆行驶中通过特征点匹配自动优化外参

在 Jetson AGX 上实测：

优化方式	FP32 延迟	INT8 延迟	精度损失
原始模型	62ms	–	–
卷积层融合	55ms	48ms	<1%
动态轴优化	50ms	42ms	1.2%
量化校准（1000 样本）	–	38ms	2.3%

关键配置：

# 创建 INT8 校准器
class Calibrator(trt.IInt8EntropyCalibrator2):
    def get_batch(self, names):
        return [np.random.randn(1,3,256,512).astype(np.float32)]  # 使用真实数据更佳

# 转换模型时指定优化配置
with trt.Builder(TRT_LOGGER) as builder:
    builder.fp16_mode = True
    builder.int8_mode = True
    builder.int8_calibrator = Calibrator()