2.5D目标检测入门指南：从数据准备到模型部署的全流程解析

1次阅读

没有评论

共计 2995 个字符，预计需要花费 8 分钟才能阅读完成。

2.5D 数据是指同时包含 RGB 彩色图像和 Depth 深度信息的数据形式。它比传统的 2D 图像多了一个维度的信息，但又不像真正的 3D 点云那样包含完整的空间结构。这种数据格式在计算机视觉领域越来越重要，主要有以下几个原因：

信息更丰富 ：深度信息可以帮助模型更好地理解物体的空间位置和尺寸
成本适中 ：相比激光雷达等 3D 采集设备，RGB- D 相机（如 Kinect、RealSense）价格更低
应用广泛 ：在自动驾驶、机器人导航、AR/VR 等领域都有重要应用价值

常用的 RGB- D 数据采集设备包括：

Microsoft Kinect 系列
Intel RealSense 系列
立体视觉相机（如 ZED）

采集时需要注意：

确保光照条件稳定，避免强反光表面
保持相机与被测物体的适当距离（通常在设备有效测距范围内）
同步保存 RGB 和 Depth 图像

2.5D 标注相比 2D 标注需要额外考虑：

在 2D 边界框基础上增加深度信息
可能需要标注物体的真实尺寸（长宽高）
标注工具推荐：LabelImg、CVAT 等支持自定义标注格式的工具

常用的 2.5D 数据集包括：

SUN RGB-D：包含 10,000+ RGB- D 图像，37 个类别
NYU Depth v2：室内场景数据集，1449 张标注图像
KITTI：自动驾驶场景，包含 3D 和 2.5D 标注

框架	优点	缺点	适用场景
Faster R-CNN	检测精度高	速度较慢	对精度要求高的场景
YOLO 系列	速度快	小物体检测效果一般	实时性要求高的场景
SSD	平衡精度和速度	深度信息利用不够充分	通用场景
Mask R-CNN	支持实例分割	计算资源需求大	需要精细分割的场景

import torch
from torch.utils.data import Dataset
import cv2
import numpy as np

class RGBDDataset(Dataset):
    def __init__(self, rgb_paths, depth_paths, transforms=None):
        self.rgb_paths = rgb_paths
        self.depth_paths = depth_paths
        self.transforms = transforms

    def __getitem__(self, idx):
        # 加载 RGB 和深度图像
        rgb = cv2.imread(self.rgb_paths[idx])
        depth = cv2.imread(self.depth_paths[idx], cv2.IMREAD_ANYDEPTH)

        # 归一化处理
        rgb = rgb / 255.0
        depth = depth / 1000.0  # 假设深度单位是毫米

        # 合并通道
        input_data = np.concatenate([rgb, depth[..., np.newaxis]], axis=-1)

        if self.transforms:
            input_data = self.transforms(input_data)

        return input_data

import torch.nn as nn

class TwoPointFiveDDetector(nn.Module):
    def __init__(self, num_classes):
        super().__init__()

        # RGB 分支
        self.rgb_conv = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )

        # Depth 分支
        self.depth_conv = nn.Sequential(nn.Conv2d(1, 64, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )

        # 融合层
        self.fusion = nn.Sequential(nn.Conv2d(128, 256, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.Conv2d(256, 256, kernel_size=3, padding=1),
            nn.ReLU())

        # 检测头
        self.cls_head = nn.Conv2d(256, num_classes, kernel_size=1)
        self.reg_head = nn.Conv2d(256, 4, kernel_size=1)

    def forward(self, x):
        # 分离 RGB 和深度通道
        rgb = x[:, :3]
        depth = x[:, 3:]

        # 分别处理
        rgb_feat = self.rgb_conv(rgb)
        depth_feat = self.depth_conv(depth)

        # 特征融合
        fused = torch.cat([rgb_feat, depth_feat], dim=1)
        fused = self.fusion(fused)

        # 输出预测
        cls_pred = self.cls_head(fused)
        reg_pred = self.reg_head(fused)

        return cls_pred, reg_pred

def compute_loss(cls_pred, reg_pred, cls_target, reg_target):
    # 分类损失（交叉熵）cls_loss = F.cross_entropy(cls_pred, cls_target)

    # 回归损失（Smooth L1）reg_loss = F.smooth_l1_loss(reg_pred, reg_target)

    # 总损失
    total_loss = cls_loss + reg_loss

    return total_loss

使用学习率预热（Warmup）策略
采用余弦退火（Cosine Annealing）调度器
监控验证集损失，适时调整学习率

对 RGB 和 Depth 同步进行相同的空间变换
随机水平翻转
颜色抖动（仅对 RGB 通道）
深度值归一化

深度值范围不一致 ：不同设备的深度值范围可能不同，必须统一归一化
RGB- D 不同步 ：确保 RGB 和 Depth 图像严格对齐，必要时进行校准
过拟合问题 ：使用 Dropout、权重衰减等正则化方法
类别不平衡 ：采用 Focal Loss 或其他平衡采样策略
深度信息利用不足 ：确保网络架构有效融合 RGB 和 Depth 特征

model = TwoPointFiveDDetector(num_classes=10)
quantized_model = torch.quantization.quantize_dynamic(model, {nn.Linear, nn.Conv2d}, dtype=torch.qint8
)