3D目标检测中的数据增强：原理、实践与性能优化

1次阅读

共计 2411 个字符，预计需要花费 7 分钟才能阅读完成。

在 3D 目标检测任务中，数据问题一直是制约模型性能的重要因素。相比于 2D 图像数据，3D 点云数据面临几个特有的挑战：

标注成本极高：3D 边界框的标注需要专业工具和大量人工时间，是 2D 标注的 3 - 5 倍工作量
场景多样性不足：真实采集的 LIDAR 数据受限于天气、地理位置等因素
数据分布不均衡：不同类别的物体在真实场景中出现频率差异巨大

色彩扰动对单线激光雷达无效
裁剪操作会破坏点云的空间连续性
旋转变换需要考虑三维坐标系的一致性

点云抖动：添加符合传感器噪声模型的随机偏移
全局旋转：在俯仰、偏航、滚转三个轴上随机旋转
随机丢弃：模拟不同距离点的丢失概率
虚拟遮挡：使用简单几何体模拟真实障碍物

# 环境要求
import torch
import numpy as np
import open3d as o3d
from typing import Tuple, List

def color_jitter(points: torch.Tensor, rgb: torch.Tensor, 
                h_range: Tuple[float, float] = (0.9, 1.1),
                s_range: Tuple[float, float] = (0.8, 1.2)) -> torch.Tensor:
    """
    在 HSV 空间进行颜色扰动
    Args:
        points: [N, 3] 点云坐标
        rgb: [N, 3] 对应 RGB 颜色值（0- 1 范围）h_range: 色调变化范围
        s_range: 饱和度变化范围
    Returns:
        扰动后的 RGB 值
    """
    hsv = rgb_rgb_to_hsv(rgb)
    # 应用随机变换
    h = hsv[:, 0] * torch.empty(1).uniform_(*h_range)
    s = hsv[:, 1] * torch.empty(1).uniform_(*s_range)
    v = hsv[:, 2]  # 保持亮度不变
    return rgb_hsv_to_rgb(torch.stack([h, s, v], dim=1))

def simulate_occlusion(points: np.ndarray, 
                      max_occluders: int = 3) -> np.ndarray:
    """
    使用 Open3D 生成随机立方体作为遮挡物
    Args:
        points: [N, 3] 输入点云
        max_occluders: 最大遮挡物数量
    Returns:
        被遮挡后的点云
    """
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(points)

    # 生成 1 - 3 个随机立方体
    for _ in range(torch.randint(1, max_occluders+1, (1,)).item()):
        box = o3d.geometry.TriangleMesh.create_box(width=torch.rand(1).item()*2+0.5,
            height=torch.rand(1).item()*2+0.5,
            depth=torch.rand(1).item()*2+0.5)
        # 随机放置立方体
        box.translate(torch.rand(3).numpy()*10-5) 

        # 执行裁剪操作
        pcd = pcd.crop(box)
    return np.asarray(pcd.points)

@torch.jit.script
def temporal_coherent_aug(points_seq: List[torch.Tensor], 
                        max_offset: float = 0.1) -> List[torch.Tensor]:
    """
    保持时序连续性的增强方法
    Args:
        points_seq: 时序点云序列
        max_offset: 最大偏移量
    Returns:
        增强后的序列
    """
    # 生成随机但连续的变换参数
    base_rot = torch.rand(3) * 2 * np.pi
    offset = (torch.rand(3) * 2 - 1) * max_offset

    results = []
    for i, points in enumerate(points_seq):
        # 随时间线性变化的增强强度
        ratio = i / len(points_seq)
        current_rot = base_rot * (0.9 + ratio * 0.2)
        current_offset = offset * ratio

        # 应用变换
        rot_mat = euler_angles_to_matrix(current_rot, "XYZ")
        transformed = points @ rot_mat.T + current_offset
        results.append(transformed)
    return results

通过实验发现增强参数需要平衡：