2D点云目标检测实战：从数据预处理到模型部署的完整指南

1次阅读

没有评论

共计 2659 个字符，预计需要花费 7 分钟才能阅读完成。

2D 点云是激光雷达扫描物体后返回的二维坐标集合（x,y），相比图像数据具有两大特性：

稀疏性：相邻点间距可能达数十厘米（如 64 线激光雷达在 50 米处的纵向分辨率约 0.8°）
无序性 ：点云排列顺序不影响其空间含义，[P1,P2,P3] 与[P3,P1,P2]描述同一物体

典型应用案例：

自动驾驶中行人检测（有效距离通常要求 50 米内）
仓储机器人货架间隙测量（点云间距需精确到厘米级）

特征丢失问题：
10 米外行人可能只有 5 -10 个有效点
传统 CNN 直接处理会导致小物体特征被淹没
噪声干扰：
雨雾天气会产生悬浮噪点（实测显示大雨天噪点增加 300%）
地面反射可能形成伪障碍物
实时性挑战：
16 线雷达每秒产生 30 万 + 点
嵌入式设备（如 Jetson Xavier）需保证 100ms 内完成单帧处理

import open3d as o3d

# 降采样（从 10 万点降到 1 万点）pcd = o3d.geometry.PointCloud()
pcd.points = o3d.utility.Vector3dVector(points)
down_pcd = pcd.voxel_down_sample(voxel_size=0.1)  # 体素边长 10cm

# 地面分割（RANSAC 算法）plane_model, inliers = pcd.segment_plane(distance_threshold=0.2, ransac_n=3, num_iterations=100)
ground_cloud = pcd.select_by_index(inliers)
obj_cloud = pcd.select_by_index(inliers, invert=True)

# DBSCAN 聚类（eps=0.5 米，最小点数 10）labels = np.array(obj_cloud.cluster_dbscan(eps=0.5, min_points=10))

PointNet++ 的层级结构：

采样层 ：最远点采样(FPS) 选取关键点
分组层 ：球查询(radius search) 构建局部区域
特征学习：共享权重的 MLP 处理每个局部块

# PyTorch 实现简化版 MLP 特征提取
class PointNetMLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.mlp = nn.Sequential(nn.Conv1d(3, 64, 1),  # 输入 xyz 坐标
            nn.BatchNorm1d(64),
            nn.ReLU(),
            nn.Conv1d(64, 128, 1)
        )

    def forward(self, x):
        # x 形状：[B, 3, N]
        return self.mlp(x)  # 输出[B, 128, N]

指标	PointPillars	SECOND
推理速度(FPS)	62	40
mAP@0.5	0.72	0.78
显存占用	1.8GB	3.2GB

class PointCloudDataset(Dataset):
    def __init__(self, root_dir):
        self.samples = glob(f"{root_dir}/*.bin")

    def __getitem__(self, idx):
        # 读取 bin 文件 (N,4)格式 xyzi
        points = np.fromfile(self.samples[idx], dtype=np.float32)
        points = points.reshape(-1, 4)

        # 数据增强：随机旋转
        if self.training:
            angle = np.random.uniform(-np.pi/4, np.pi/4)
            rot_mat = np.array([[np.cos(angle), -np.sin(angle)],
                [np.sin(angle), np.cos(angle)]])
            points[:, :2] = points[:, :2] @ rot_mat

        return torch.FloatTensor(points)

# configs/pointpillars/hv_pointpillars_secfpn_6x8_160e_kitti-3d-3class.py
model = dict(
    type='PointPillars',
    voxel_layer=dict(
        max_num_points=32,  # 每个体素最大点数
        point_cloud_range=[0, -40, -3, 70.4, 40, 1],
        voxel_size=[0.16, 0.16, 4]),  # 体素网格尺寸
    backbone=dict(
        type='SECOND',
        in_channels=64,
        layer_nums=[3, 5, 5]),
    neck=dict(type='SECONDFPN', ...)
)

错误做法：对整个场景做全局归一化

# 导致近处物体特征被压缩
points[:, :3] = (points[:, :3] - points[:, :3].min()) / (points[:, :3].max() - points[:, :3].min())

正确方案：逐物体归一化

for obj in detected_objects:
    obj_points = points[obj.indices]
    obj_points[:, :3] = (obj_points[:, :3] - obj_points[:, :3].mean(0)) / obj_points[:, :3].std(0)

速度补偿：对连续帧检测结果做 Kalman 滤波

# 预测下一帧位置
kf = KalmanFilter(dim_x=4, dim_z=2)
kf.x = np.array([x, y, vx, vy])  # 初始状态
kf.predict()  # 预测阶段

# TensorRT INT8 量化示例
from torch2trt import torch2trt

model_trt = torch2trt(
    model, 
    [dummy_input], 
    fp16_mode=True,
    int8_mode=True,
    int8_calib_dataset=calib_dataset)  # 校准数据集

针对雨天场景的改进思路：