3D目标检测复现实战：从PointPillars到OpenPCDet的工程化实现

1次阅读

没有评论

共计 2546 个字符，预计需要花费 7 分钟才能阅读完成。

3D 目标检测是自动驾驶、机器人导航等领域的核心技术，它能够直接从点云数据中识别出物体的位置、大小和朝向。然而，在实际复现过程中，我们常常会遇到以下问题：

点云预处理差异：不同的框架对点云的处理方式不同，导致模型性能难以复现。
CUDA 版本冲突：深度学习框架和 CUDA 版本的兼容性问题频发，尤其是使用自定义 CUDA 算子时。
评估指标不一致：不同数据集的评估标准（如 KITTI 和 Waymo）可能导致结果不可比。

在选择 3D 目标检测算法时，我们需要权衡计算效率和精度：

PointPillars：计算效率高，适合实时应用，但精度相对较低。
SECOND：平衡了精度和速度，支持稀疏卷积。
CenterPoint：基于中心的检测方法，精度较高，但计算复杂度也更高。

为什么选择 OpenPCDet？

模块化设计，易于扩展和修改。
支持多种主流 3D 检测算法。
提供了丰富的工具链，包括数据预处理、训练和评估。

KITTI 数据集转换

KITTI 数据集需要转换为 OpenPCDet 支持的格式。以下是一个转换脚本的示例：

# 示例：KITTI 转 OpenPCDet 格式
import os
import numpy as np

# KITTI 点云数据路径
kitti_path = 'path_to_kitti/velodyne'
# 输出路径
output_path = 'path_to_output'

for file in os.listdir(kitti_path):
    if file.endswith('.bin'):
        points = np.fromfile(os.path.join(kitti_path, file), dtype=np.float32).reshape(-1, 4)
        np.save(os.path.join(output_path, file.replace('.bin', '.npy')), points)

Anchor 设置

在 pointpillar.yaml 配置文件中，anchor 的设置是关键：

ANCHOR_GENERATOR_CONFIG: [
    {
        'class_name': 'Car',
        'anchor_sizes': [[3.9, 1.6, 1.56]],  # 长、宽、高
        'anchor_rotations': [0, 1.57],       # 0 度和 90 度
        'anchor_bottom_heights': [-1.78],    # 锚框底部高度
        'align_center': False
    }
]

Voxelization 参数

体素化参数直接影响模型的性能和速度：

VOXEL_GENERATOR: {'point_cloud_range': [0, -39.68, -3, 69.12, 39.68, 1],  # 点云范围
    'voxel_size': [0.16, 0.16, 4],                         # 体素大小
    'max_points_per_voxel': 32,                             # 每个体素的最大点数
    'max_number_of_voxels': 16000                           # 最大体素数
}

PointPillars 的特征提取网络主要包括三个部分：

Pillar Feature Net：将点云转换为柱状特征。
Backbone：2D 卷积网络提取特征。
Detection Head：输出检测结果。

以下是关键代码示例：

import torch
import torch.nn as nn

class PillarFeatureNet(nn.Module):
    def __init__(self, in_channels=4, out_channels=64):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        return x

使用 PyTorch 的 AMP（Automatic Mixed Precision）可以显著加速训练：

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

for epoch in range(num_epochs):
    for batch in dataloader:
        with autocast():
            loss = model(batch)
        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()

OpenPCDet 依赖 spconv 库，编译时需要注意 CUDA 版本兼容性：

# 安装 spconv
pip install spconv-cu113  # 对应 CUDA 11.3

将模型转换为 TensorRT 格式以提升推理速度：

import tensorrt as trt

# 加载 ONNX 模型
with open("model.onnx", "rb") as f:
    onnx_model = f.read()

# 创建 TensorRT 引擎
logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
parser = trt.OnnxParser(network, logger)
parser.parse(onnx_model)