AV2数据自动驾驶入门指南：从数据采集到模型部署全流程解析

1次阅读

共计 2468 个字符，预计需要花费 7 分钟才能阅读完成。

自动驾驶技术的发展离不开高质量的数据支持。AV2（Argoverse 2）是由 Argo AI 发布的最新自动驾驶数据集，相较于第一代 Argoverse，AV2 在数据规模、传感器配置和标注质量上都有显著提升。AV2 数据集包含了来自多个城市的真实驾驶场景，涵盖了复杂的城市道路环境、多样的天气条件和不同的交通参与者。

AV2 数据集的价值主要体现在以下几个方面：

提供了高精度的 LiDAR 和摄像头数据，支持多模态感知任务
包含了丰富的语义标注信息，如车道线、交通标志、行人等
覆盖了长时间序列的驾驶场景，适合预测和规划算法的开发
采用了统一的坐标系和时序对齐，简化了数据处理流程

与 KITTI、nuScenes 等经典数据集相比，AV2 在多个方面具有明显优势：

特性	AV2	KITTI	nuScenes
数据规模	1000+ 小时	6 小时	300 小时
传感器	7 摄像头 +2LiDAR	2 摄像头 +1LiDAR	6 摄像头 +1LiDAR
标注频率	10Hz	10Hz	2Hz
场景多样性	6 个城市	1 个城市	2 个城市
天气条件	多种	晴朗为主	多种

AV2 特别适合开发需要长时间上下文信息的自动驾驶算法，如行为预测和轨迹规划。

AV2 数据集采用分层的目录结构，主要包含以下内容：

sensor_data/: 原始传感器数据
lidar/: LiDAR 点云数据（.feather 格式）
camera/: 相机图像（.jpg 格式）
annotations/: 标注信息
3d_annotations/: 3D 物体标注
map_annotations/: 高精地图信息
calibration/: 传感器标定参数

以下是使用 Python 加载和预处理 AV2 数据的示例代码：

import pandas as pd
import numpy as np
from pathlib import Path

def load_lidar_data(log_id: str, frame_id: str, data_root: Path):
    """加载 LiDAR 点云数据"""
    lidar_path = data_root / 'sensor_data' / 'lidar' / log_id / f'{frame_id}.feather'
    points = pd.read_feather(lidar_path).to_numpy()
    return points[:, :3]  # 只取 xyz 坐标

def project_lidar_to_camera(points, camera_name, calibration):
    """将 LiDAR 点云投影到相机坐标系"""
    # 获取标定参数
    lidar_to_ego = calibration['extrinsics']['lidar_to_ego']
    ego_to_camera = calibration['extrinsics'][f'ego_to_{camera_name}']
    camera_intrinsic = calibration['intrinsics'][camera_name]

    # 坐标系变换
    points_ego = points @ lidar_to_ego[:3, :3].T + lidar_to_ego[:3, 3]
    points_cam = points_ego @ ego_to_camera[:3, :3].T + ego_to_camera[:3, 3]

    # 投影到图像平面
    points_img = points_cam @ camera_intrinsic.T
    points_img = points_img[:, :2] / points_img[:, 2:3]
    return points_img

以下是一个简单的点云分割模型示例（基于 PyTorch）：

import torch
import torch.nn as nn

class PointNetSeg(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.mlp1 = nn.Sequential(nn.Linear(3, 64),
            nn.BatchNorm1d(64),
            nn.ReLU(),
            nn.Linear(64, 128)
        )
        self.mlp2 = nn.Sequential(nn.Linear(128, 256),
            nn.BatchNorm1d(256),
            nn.ReLU(),
            nn.Linear(256, num_classes)
        )

    def forward(self, x):
        # x: (B, N, 3)
        x = self.mlp1(x)  # (B, N, 128)
        x = torch.max(x, dim=1, keepdim=True)[0]  # 全局特征
        x = self.mlp2(x)  # (B, N, num_classes)
        return x

在实际应用中，标注数据的质量直接影响模型性能。建议进行以下检查：