3D视觉基础模型入门指南：从零搭建到实战避坑

1次阅读

共计 2357 个字符，预计需要花费 6 分钟才能阅读完成。

与常规 2D 图像不同，3D 视觉数据（如点云、网格）具有显著特性：

稀疏性与非结构化：点云由无序的 XYZ 坐标构成，缺乏像素网格的规整排列，传统卷积难以直接应用
几何复杂性：物体旋转、缩放会导致空间关系剧烈变化，需设计旋转等变（rotation-equivariant）的特征提取方式
数据异构性：不同扫描设备产生的点云密度差异大（如 LiDAR 与深度相机），需鲁棒的预处理方案

主流 3D 点云处理模型可归纳为两类思路：

直接点处理架构
PointNet++：通过层级最远点采样（Farthest Point Sampling）与局部特征聚合，实现高效全局特征提取
计算效率 ：O(n) 复杂度，适合实时应用
精度局限：对局部几何细节捕捉较弱
卷积化架构
PointCNN：使用 X -Conv 算子将无序点云转换为规范顺序，再应用类 2D 卷积
优势：保留邻域几何关系，在细粒度分类任务中表现更优
代价：需维护额外的特征转换矩阵，显存占用较高

pip install torch torchvision pytorch3d open3d

import torch
from pytorch3d.io import load_ply
from pytorch3d.ops import sample_farthest_points

# 加载 PLY 格式点云（以 ModelNet40 为例）verts, faces = load_ply("model.ply")

# 归一化到单位球空间
verts = verts - verts.mean(dim=0)
verts = verts / verts.norm(dim=1).max()

# 最远点采样至 1024 个点（统一输入尺寸）sampled_verts, _ = sample_farthest_points(verts[None,...], K=1024)

import torch.nn as nn
from pytorch3d.ops import knn_points

class PointNetCls(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.mlp = nn.Sequential(nn.Linear(3, 64),  # XYZ 坐标升维
            nn.ReLU(),
            nn.Linear(64, 256),
            nn.ReLU())
        self.classifier = nn.Linear(256, num_classes)

    def forward(self, x):
        # x: [B, N, 3]
        feat = self.mlp(x)  # [B, N, 256]
        global_feat = feat.max(dim=1)[0]  # 全局最大池化
        return self.classifier(global_feat)

# 数据增强：随机旋转与抖动
def augment_pc(pc):
    rot = torch.rand(3) * 2 * math.pi
    pc = rotate_points(pc, rot)  # 自定义旋转函数
    pc += 0.02 * torch.randn_like(pc)
    return pc

model = PointNetCls(num_classes=40).cuda()
opt = torch.optim.Adam(model.parameters(), lr=1e-3)

for epoch in range(100):
    for pc, label in train_loader:
        pc = augment_pc(pc.cuda())
        pred = model(pc)
        loss = F.cross_entropy(pred, label.cuda())

        opt.zero_grad()
        loss.backward()
        opt.step()

当处理超大规模点云（>100 万点）时，可采用体素化（Voxelization）降低计算负担：

空间划分：将 3D 空间划分为均匀网格（如 0.05m 分辨率）
特征聚合：同一体素内的点取均值或最大特征
稀疏卷积：使用 Minkowski Engine 等库处理非空体素

from pytorch3d.ops import cubify

# 将点云转换为体素网格（需先定义网格分辨率）voxel_grid = cubify(point_cloud, voxel_size=0.05)

# 转换为稀疏张量格式
sparse_tensor = voxel_grid.to_sparse()