6D位姿估计数据集制作实战：从数据采集到标注的全流程指南

1次阅读

没有评论

共计 3486 个字符，预计需要花费 9 分钟才能阅读完成。

现有的公开数据集如 LINEMOD 和 YCB-Video 虽然为 6D 位姿估计研究提供了基础数据，但在实际应用中往往面临以下问题：

场景单一：公开数据集通常覆盖有限的物体和背景，难以满足特定应用场景（如工业零件检测）的需求。
标注不完整：某些数据集可能缺少关键点标注或深度信息，限制了模型的训练效果。
数据量不足：小样本场景下，模型的泛化能力往往不足，需要更多自定义数据来补充。

为了解决这些问题，制作自定义的 6D 位姿数据集成为许多开发者的必要选择。

选择合适的传感器是数据采集的第一步。以下是两种常见硬件的对比：

优点：
价格相对较低，适合预算有限的开发者。
提供 RGB 和深度信息，适合室内场景。
易于使用，支持开箱即用的数据采集。
缺点：
深度信息在远距离或复杂场景下可能不准确。
对光照条件敏感，在强光或暗光环境下表现不佳。

优点：
提供高精度的 3D 点云数据，适合室外或大范围场景。
不受光照条件影响，适用于复杂环境。
缺点：
价格昂贵，适合预算充足的团队。
数据量大，处理复杂度高。

采购建议：

低预算：选择 Realsense D435i，性价比高，适合初学者。
中高预算：考虑 Velodyne 或 Ouster 的 LiDAR，适合需要高精度数据的项目。

多传感器数据采集的核心是标定和同步。以下是 Camera-LiDAR 标定的关键步骤：

标定板准备：使用棋盘格或 AprilTag 标定板，确保其在相机和 LiDAR 视野中均可见。
数据采集：同时采集相机和 LiDAR 的数据，确保标定板在不同姿态下的多组数据。
标定计算：通过解算标定板在相机和 LiDAR 坐标系中的位姿，求解两者之间的变换矩阵。数学表达式为：
$$
T_{cam}^{lidar} = \arg\min_T \sum_{i=1}^n |T \cdot P_{cam}^i – P_{lidar}^i|^2
$$
其中，$P_{cam}^i$ 和 $P_{lidar}^i$ 分别是标定板在相机和 LiDAR 坐标系中的位姿。
验证标定结果：通过重投影误差或点云对齐效果验证标定精度。

CVAT 是一个开源的标注工具，支持 2D 和 3D 标注。以下是关键点标注的步骤：

创建项目：在 CVAT 中新建项目，选择 ” 关键点标注 ” 任务类型。
导入数据：上传 RGB 图像和对应的深度图或点云数据。
标注关键点：在图像上标记物体的关键点，并关联到 3D 坐标系中的对应点。
导出标注：将标注结果导出为 JSON 或 XML 格式，便于后续处理。

import json

def convert_to_coco(cvat_json_path, output_path):
    with open(cvat_json_path, 'r') as f:
        cvat_data = json.load(f)

    coco_data = {"images": [],
        "annotations": [],
        "categories": [{"id": 1, "name": "object"}]
    }

    for image in cvat_data['images']:
        coco_data['images'].append({"id": image['id'],
            "file_name": image['file_name'],
            "width": image['width'],
            "height": image['height']
        })

        for annotation in image['annotations']:
            coco_data['annotations'].append({"id": annotation['id'],
                "image_id": image['id'],
                "category_id": 1,
                "keypoints": annotation['keypoints'],
                "num_keypoints": len(annotation['keypoints']) // 3
            })

    with open(output_path, 'w') as f:
        json.dump(coco_data, f)

域随机化通过随机化训练数据的某些属性（如纹理、光照、背景），提升模型在未见过的场景中的泛化能力。在 6D 位姿估计中，域随机化的特殊价值在于：

模拟多样化的环境：通过随机化光照和背景，模型能更好地适应不同光照条件下的测试场景。
减少过拟合：随机化物体的纹理和姿态，避免模型过度依赖训练数据的特定特征。

import torch
import numpy as np
from scipy.spatial.transform import Rotation as R

def perturb_pose(pose, max_trans=0.1, max_rot=10.0):
    """
    Perturb a 6D pose with random translation and rotation.
    Args:
        pose (torch.Tensor): [4, 4] homogeneous transformation matrix.
        max_trans (float): Maximum translation perturbation in meters.
        max_rot (float): Maximum rotation perturbation in degrees.
    Returns:
        torch.Tensor: Perturbed pose.
    """
    # Random translation
    trans_noise = torch.rand(3) * max_trans * 2 - max_trans
    perturbed_trans = pose[:3, 3] + trans_noise

    # Random rotation
    rot_noise = R.from_euler('xyz', np.random.uniform(-max_rot, max_rot, 3), degrees=True)
    original_rot = R.from_matrix(pose[:3, :3].numpy())
    perturbed_rot = original_rot * rot_noise

    # Construct perturbed pose
    perturbed_pose = torch.eye(4)
    perturbed_pose[:3, :3] = torch.tensor(perturbed_rot.as_matrix(), dtype=torch.float32)
    perturbed_pose[:3, 3] = perturbed_trans

    return perturbed_pose

镜头畸变 ：使用标定板采集多组数据，通过 OpenCV 的cv2.calibrateCamera 函数计算畸变系数并校正。
时间不同步：硬件同步（如触发信号）或软件同步（时间戳对齐）确保传感器数据的时间一致性。

通过计算标注关键点的重投影误差，自动化检查标注质量：

def check_reprojection_error(pose_3d, keypoints_2d, camera_matrix):
    """
    Calculate reprojection error between 3D pose and 2D keypoints.
    Args:
        pose_3d (np.array): [N, 3] 3D keypoints.
        keypoints_2d (np.array): [N, 2] 2D keypoints.
        camera_matrix (np.array): [3, 3] Camera intrinsic matrix.
    Returns:
        float: Mean reprojection error in pixels.
    """
    projected = (camera_matrix @ pose_3d.T).T
    projected = projected[:, :2] / projected[:, 2:]
    error = np.mean(np.linalg.norm(projected - keypoints_2d, axis=1))
    return error

制作高质量的 6D 位姿数据集是一个复杂但必要的过程。通过本文的指南，开发者可以系统地完成从数据采集到标注的全流程。然而，仍有一些开放性问题值得探讨：