3D目标检测技术综述：从原理到工业落地的关键挑战

1次阅读

共计 2124 个字符，预计需要花费 6 分钟才能阅读完成。

与 2D 目标检测相比，3D 目标检测面临三个核心差异：

遮挡问题：LiDAR 点云的稀疏性导致物体背面和遮挡区域无数据。例如 KITTI 数据集中，行人点云平均仅有 200 个点，而 2D 图像始终保留纹理信息。
尺度变化：3D 场景中物体尺寸差异可达 100 倍（如卡车 vs 行人），而 2D 检测仅需处理像素尺度变化。这要求网络具备更强的多尺度特征融合能力。
非均匀采样：点云密度随距离平方衰减，10 米处的物体点数可能仅有近处的 1 /100，这与 2D 图像的均匀采样特性截然不同。

数学上，点云可表示为无序集合 $P={p_i\in\mathbb{R}^d}_{i=1}^N$，其中 $d=4$(x,y,z,intensity)，这导致传统 CNN 无法直接处理。

模型	mAP@0.5(Car)	FPS	核心创新
PointNet++	63.5	2.1	层级点集抽象
VoxelNet	77.5	4.8	体素化 +3D 稀疏卷积
PV-RCNN	83.9	10.2	点 - 体素双分支特征融合

nuScenes 验证集结果（输入点数 16,384）

PointNet++：通过最远点采样 (FPS) 和球查询构建局部区域，但感受野有限
VoxelNet：将点云划分为 $0.1m^3$ 体素后使用 3D 卷积，但 Z 轴信息易丢失
PV-RCNN：通过 Voxel CNN 提取粗粒度特征，再用 PointNet++ 细化关键点特征

import torch
from torch_scatter import scatter_max

class PillarFeatureNet(torch.nn.Module):
    def __init__(self, voxel_size=[0.16, 0.16, 4], point_cloud_range=[0, -40, -3, 70.4, 40, 1]):
        super().__init__()
        # 柱状体素高度不限，显著减少计算量
        self.voxel_size = torch.tensor(voxel_size)
        self.pcd_range = torch.tensor(point_cloud_range)

    def forward(self, points):
        # points: [N, 4] (x,y,z,i)
        voxel_coords = ((points[:, :3] - self.pcd_range[:3]) / self.voxel_size).long()

        # GPU 并行化关键步骤
        voxel_coords[:, 2] = 0  # 忽略 Z 轴划分
        unique_coords, inverse_indices = torch.unique(voxel_coords, return_inverse=True, dim=0)

        # 使用 scatter_max 聚合特征 [M, C]
        voxel_features = scatter_max(points[:, 3], inverse_indices)[0]
        return voxel_features, unique_coords

关键注释：
1. torch_scatter库实现并行化聚合，比 for 循环快 20 倍
2. 柱状体素 (z=0) 相比立方体素内存占用减少 87%
3. 实际部署时应启用 torch.jit.script 优化

当模型从 KITTI 迁移到 Waymo 时，主要遇到三个陷阱：

强度值分布差异：Waymo 的 LiDAR 强度范围为[0,255]，而 KITTI 为[0,1]。应采用分段归一化：

def normalize_intensity(intensity):
    # 区分地面点和物体点
    if intensity > 0.8:  # 高反射物体
        return (intensity - 0.8) / (1.0 - 0.8)
    else:  # 地面和低反射物体
        return intensity / 0.8