3D检测SOTA模型入门指南：从理论到实践

1次阅读

共计 1660 个字符，预计需要花费 5 分钟才能阅读完成。

3D 目标检测（3D Object Detection）是计算机视觉的重要分支，主要任务是从三维点云数据中定位并识别物体。与 2D 检测不同，3D 检测需要处理空间几何信息，输出目标的中心坐标、尺寸和朝向角（x,y,z,l,w,h,θ）。典型应用包括：

自动驾驶（车辆 / 行人检测）
机器人导航（障碍物识别）
AR/VR（场景理解）

主要技术挑战在于点云数据的稀疏性、无序性以及视角变化带来的几何变形。当前主流数据格式包括：

原始点云（Point Cloud）
体素网格（Voxel Grid）
多视图投影（Multi-view）

核心思想 ：层级式点集特征学习
优势：
直接处理原始点云
旋转不变性强
局限：
对小物体检测精度低
计算复杂度高

核心思想 ：体素化特征提取
优势：
规整化数据结构
适合硬件加速
局限：
信息量化损失
内存消耗大

融合方案 ：
点级特征保留几何细节
体素化结构提升计算效率
SOTA 表现 ：
KITTI 榜单综合排名靠前
平衡精度与速度

class PV_RCNN(nn.Module):
    def __init__(self):
        # 体素特征编码层
        self.voxel_encoder = VoxelBackBone() 
        # 点特征提取层       
        self.pointnet = PointNetSetAbstraction()
        # ROI 池化层
        self.roi_head = RoIHead()

体素到点的特征传播 ：通过插值将体素特征映射回原始点云
3D 提案精修 ：两阶段检测框架（RPN + ROI）
多尺度融合 ：结合 FPN 结构增强小目标检测

def process_kitti_data(sample):
    """
    处理 KITTI 原始数据
    Args:
        sample: dict 包含 'points','calib','annotations'
    Returns:
        voxel_features: (N, 4) [x,y,z,intensity]
        voxel_coords: (N, 3) [x_idx,y_idx,z_idx]
    """
    # 点云范围过滤
    points = filter_by_range(sample['points'], [0, -40, -3, 70, 40, 1])
    # 体素化处理
    voxel_output = voxelize(points, voxel_size=[0.05, 0.05, 0.1])
    return voxel_output

train_cfg:
  lr: 0.001
  batch_size: 4
  max_epochs: 80
  optimizer:
    type: AdamW
    weight_decay: 0.01

data:
  num_workers: 8
  augmentations:
    - GlobalRotation(limit=[-0.2, 0.2])
    - GlobalScaling(range=[0.9, 1.1])