基于深度强化学习的3D点云路径规划实战：从算法选型到工程落地

1次阅读

共计 1709 个字符，预计需要花费 5 分钟才能阅读完成。

传统路径规划算法如 RRT 和 A 在 3D 点云环境中面临显著挑战：

维度灾难 ：三维空间搜索复杂度呈指数增长，RRT* 在密集点云中采样效率急剧下降
动态适应性差 ：手工设计的启发式函数难以应对突发障碍物（如突然出现的行人）
实时性瓶颈 ：A* 在百万级点云中规划耗时超过 500ms（实测 Intel i7-11800H），无法满足机器人 10Hz 的决策频率需求

PointNet：
优势：直接处理无序点集，参数量仅 3.5M
劣势：局部特征聚合能力弱，测试集碰撞率高达 32%
PointNet++：
优势：层级式特征学习，在 KITTI 数据集上比 PointNet 降低 18% 的误检率
最终选择：牺牲 5% 推理速度换取更高的环境理解精度

DQN：
问题：动作空间离散化导致规划路径锯齿化
实测抖动幅度达±15cm（不符合机器人运动控制要求）
PPO：
优势：策略梯度连续输出，配合 GAE(λ=0.95) 实现平滑轨迹
关键改进：采用 entropy bonus 系数 0.01 防止动作空间过早收敛

import open3d as o3d
from typing import Tuple

def preprocess(pcd: o3d.geometry.PointCloud) -> Tuple[np.ndarray, np.ndarray]:
    """
    点云预处理流水线
    :param pcd: 原始点云
    :return: (降采样点坐标, 法向量)
    """
    # 体素降采样（保持 5cm 分辨率）down_pcd = pcd.voxel_down_sample(voxel_size=0.05)

    # 法向量估计（KDTree 半径 20cm）down_pcd.estimate_normals(search_param=o3d.geometry.KDTreeSearchParamHybrid(radius=0.2, max_nn=30))

    return np.asarray(down_pcd.points), np.asarray(down_pcd.normals)

基础奖励 ：
到达目标：+100
每步时间惩罚：-0.1
安全约束 ：
碰撞检测：-50（基于 OBB 包围盒相交测试）
危险距离：-10 * (1/distance_to_obstacle)
轨迹质量 ：
曲率惩罚：-0.3 * |Δθ|（相邻步航向角变化量）

采用 Double Clip 机制（ε=0.2 的双边截断）
价值函数使用 Huber 损失（δ=1.0）
并行 8 个环境收集数据（实测提升 30% 样本多样性）

模型转换 ：

torch.onnx.export(
    model, 
    dummy_input,
    "planning.onnx",
    opset_version=11,
    input_names=["point_cloud"],
    dynamic_axes={"point_cloud": {0: "num_points"}})