3D点云语义分割SOTA模型实战：从数据准备到模型部署全流程指南

1次阅读

共计 3211 个字符，预计需要花费 9 分钟才能阅读完成。

3D 点云语义分割是自动驾驶、机器人导航等领域的基础技术，但实际落地时面临三大核心挑战：

数据非结构化 ：激光雷达采集的原始点云具有无序性、稀疏性和密度不均匀的特点，传统 CNN 难以直接处理
标注成本高昂 ：相比 2D 图像，点云标注需要专业工具和 3D 空间理解能力，SemanticKITTI 等数据集的标注耗时可达图像数据的 10 倍
实时性要求严苛 ：自动驾驶场景要求推理速度至少达到 10Hz 以上，而 SOTA 模型在 1080Ti 显卡上处理单帧（约 10 万点）往往需要 50-100ms

当前学术界公认的 SOTA 模型可分为三类架构，各具特色：

PointNet++ 系列
优势：开创性使用点集抽象层，参数量仅 1.2M，适合嵌入式设备
不足：对局部特征捕捉有限，在 SemanticKITTI 上 mIoU 约 53.5%
适用场景：计算资源受限的边缘设备
KPConv（Kernel Point Convolution）
优势：可变形卷积核更好适应点云分布，mIoU 可达 58.3%
不足：计算复杂度较高，2080Ti 上单帧推理需要 68ms
适用场景：服务器端高精度场景
Transformer-based（如 PointTransformer）
优势：长距离依赖建模能力强，mIoU 突破 60%
不足：显存占用大，训练需要多卡并行
适用场景：对精度要求极高的离线处理

# 点云体素化与法向量计算（使用 Open3D）import open3d as o3d

def preprocess(pcd_path, voxel_size=0.05):
    pcd = o3d.io.read_point_cloud(pcd_path)
    # 降采样
    pcd = pcd.voxel_down_sample(voxel_size)
    # 法向量估计（半径取 3 倍体素大小）pcd.estimate_normals(search_param=o3d.geometry.KDTreeSearchParamHybrid(radius=voxel_size*3, max_nn=30))
    # 转换为模型输入格式
    points = np.asarray(pcd.points)
    normals = np.asarray(pcd.normals)
    return np.concatenate([points, normals], axis=1)  # [N,6]

点云数据中地面、建筑等类别往往占比过大，需调整损失权重：

class WeightedCrossEntropy(nn.Module):
    def __init__(self, class_weights):
        super().__init__()
        self.weights = torch.FloatTensor(class_weights).cuda()

    def forward(self, pred, target):
        # pred: [B,N,C], target: [B,N]
        log_softmax = F.log_softmax(pred, dim=-1)
        loss = F.nll_loss(log_softmax.view(-1, log_softmax.shape[-1]), 
            target.view(-1),
            weight=self.weights,
            reduction='none')
        return loss.mean()

使用 Open3D 实时显示预测结果与真值对比：

def visualize(pred_labels, gt_labels, points):
    # 创建可视化窗口
    vis = o3d.visualization.Visualizer()
    vis.create_window()

    # 用不同颜色显示预测与真值差异
    diff_mask = (pred_labels != gt_labels)
    colors = np.zeros((len(points),3))
    colors[pred_labels==gt_labels] = [0,1,0]  # 正确部分绿色
    colors[diff_mask] = [1,0,0]  # 错误部分红色

    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(points)
    pcd.colors = o3d.utility.Vector3dVector(colors)
    vis.add_geometry(pcd)
    vis.run()

FP16 量化 ：

trtexec --onnx=kpconv.onnx \
        --saveEngine=kpconv_fp16.engine \
        --fp16 \
        --workspace=4096

动态批次处理 ：在构建引擎时指定优化 profile

profile = builder.create_optimization_profile()
profile.set_shape("input", 
                 min=(1,5000,6), 
                 opt=(4,20000,6), 
                 max=(8,50000,6))

针对 KPConv 的卷积核进行通道级剪枝：

# 基于 L1 范数的通道重要性排序
def channel_importance(weight):
    return torch.sum(torch.abs(weight), dim=(1,2,3))

# 剪枝 50% 最低重要性的通道
importance = channel_importance(conv.weight)
threshold = torch.kthvalue(importance, k=len(importance)//2).values
mask = importance > threshold
pruned_weight = conv.weight[mask, :, :, :]

当不同标注员对同一物体的分类存在分歧时：

使用 STOA（Smoothness Term for Object Annotation）算法对标注进行一致性平滑

训练时增加 Label Smoothing 正则化

criterion = nn.CrossEntropyLoss(label_smoothing=0.1)

针对移动车辆、行人等动态物体：

使用时序信息：将连续 3 帧点云叠加，通过位移补偿对齐
增加运动特征通道：计算每个点在连续帧中的移动速度

当点云过大导致 OOM 时采用分块处理：

# 将大场景划分为重叠块处理
block_size = 10.0  # 10m×10m 的块
overlap = 2.0  # 2m 重叠区域

for x in range(0, scene_size, block_size-overlap):
    for y in range(0, scene_size, block_size-overlap):
        mask = (points[:,0]>=x) & (points[:,0]<x+block_size) \
             & (points[:,1]>=y) & (points[:,1]<y+block_size)
        block_points = points[mask]
        # 单独处理每个块...

在 SemanticKITTI 验证集上的对比（测试环境：RTX 3090, CUDA 11.1）：