3D点云深度学习：从数据预处理到模型部署的完整实践指南

1次阅读

没有评论

共计 2978 个字符，预计需要花费 8 分钟才能阅读完成。

3D 点云数据（Point Cloud）是通过激光雷达或深度相机等设备采集的、表示物体表面几何特征的三维坐标集合。与图像数据不同，点云数据具有几个关键特性：

无序性 ：点云中的点是集合而非序列，顺序不影响其表示
非结构化 ：点的数量和密度不均匀，且缺乏规则网格结构
旋转不变性 ：物体的空间旋转不应改变其语义特征

这些特性使得传统 CNN 难以直接处理点云数据，需要特殊的网络架构和预处理方法。

基础架构：
共享 MLP 处理每个点
全局 max pooling 生成全局特征
对称函数保证顺序不变性
优缺点：
简单高效
缺乏局部特征提取能力

改进点：
分层特征学习（SA 层）
最远点采样（FPS）构建局部区域
特征传播（FP）层实现上采样
适用场景：
需要精细局部特征的场景
如零件分割、物体检测

核心创新：
χ-Conv 操作学习局部卷积权重
显式处理点云排列问题
性能特点：
计算开销较大
对小物体识别效果突出

import torch
from torch_geometric.nn import fps

def voxel_downsample(points, voxel_size=0.05):
    """
    体素网格下采样
    :param points: (N,3) tensor
    :param voxel_size: 体素边长
    :return: 下采样后的点云 (M,3)
    """
    voxel_grid = torch.floor(points / voxel_size)
    unique_voxels = torch.unique(voxel_grid, dim=0)
    return (unique_voxels + 0.5) * voxel_size

def farthest_point_sampling(points, n_samples):
    """
    最远点采样实现
    :param points: (N,3) tensor
    :param n_samples: 需要采样的点数
    :return: 采样索引 (n_samples,)
    """
    return fps(points.unsqueeze(0), ratio=n_samples/len(points))[0]

import torch.nn as nn

class FeaturePropagation(nn.Module):
    def __init__(self, in_channel, mlp):
        super().__init__()
        self.mlp_convs = nn.ModuleList()
        self.mlp_bns = nn.ModuleList()
        last_channel = in_channel
        for out_channel in mlp:
            self.mlp_convs.append(nn.Conv1d(last_channel, out_channel, 1))
            self.mlp_bns.append(nn.BatchNorm1d(out_channel))
            last_channel = out_channel

    def forward(self, xyz1, xyz2, points1, points2):
        """
        :param xyz1: 目标点位置 (B,N,3)
        :param xyz2: 源点位置 (B,M,3)
        :param points1: 目标点特征 (B,C1,N)
        :param points2: 源点特征 (B,C2,M)
        """
        dists = torch.cdist(xyz1, xyz2)  # (B,N,M)
        knn_idx = dists.argsort()[:,:,:3]  # 取最近 3 个点

        # 插值权重计算
        inv_dists = 1.0 / (dists[:,:,:3] + 1e-8)
        weights = inv_dists / inv_dists.sum(dim=2, keepdim=True)  # (B,N,3)

        # 特征传播
        interpolated_feats = torch.gather(points2.unsqueeze(2).expand(-1,-1,3,-1), 
            dim=3, 
            index=knn_idx.unsqueeze(1).expand(-1,points2.size(1),-1,-1)
        )  # (B,C2,N,3)
        interpolated_feats = (interpolated_feats * weights.unsqueeze(1)).sum(dim=3)

        # MLP 处理
        if points1 is not None:
            new_points = torch.cat([interpolated_feats, points1], dim=1)
        else:
            new_points = interpolated_feats

        for conv, bn in zip(self.mlp_convs, self.mlp_bns):
            new_points = F.relu(bn(conv(new_points)))

        return new_points

构建原理：
递归将空间划分为 8 个立方体
终止条件：节点内点数小于阈值或达到最大深度
加速场景：
近邻搜索复杂度从 O(N) 降至 O(logN)
特别适合非均匀分布点云

关键优化点：

合并内存访问
将点坐标和特征打包存储
使用 float4 代替多个 float
避免线程发散
对点云进行预排序
使相邻线程处理相似数量的点
示例优化代码：

__global__ void compute_distances(float* points, float* dists, int N) {
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if(idx >= N) return;

    float4 p1 = ((float4*)points)[idx];
    float sum = 0.0f;

    for(int i=0; i<N; i+=gridDim.x*blockDim.x) {
        int j = i + threadIdx.x;
        if(j < N) {float4 p2 = ((float4*)points)[j];
            float dx = p1.x - p2.x;
            float dy = p1.y - p2.y;
            float dz = p1.z - p2.z;
            dists[idx*N + j] = dx*dx + dy*dy + dz*dz;
        }
    }
}