3D视觉基础模型入门指南：从零搭建到实战避坑

1次阅读

共计 2114 个字符，预计需要花费 6 分钟才能阅读完成。

与 2D 图像不同，3D 数据（如点云）具有两个核心特性：

稀疏性 ：物体表面采样点分布不均匀，可能包含大量空白区域
非结构化 ：点云是无序的点集合，缺乏像素网格的规则排列

这些特性导致传统 CNN 无法直接处理。例如，旋转点云会导致完全不同的坐标序列，但实际表示同一个物体。

模型	核心思想	计算效率	适合场景
PointNet++	层级最远点采样 + 局部特征聚合	中等	分类 / 分割
PointCNN	卷积核动态对齐无序点	较低	高精度检测
DGCNN	图动态构建 + 边卷积	较高	实时处理

关键术语解释 ：
– 最远点采样 (FPS)：迭代选择距离已选点最远的点，保证均匀覆盖
– KD 树 ：空间划分数据结构，加速近邻搜索

import torch
from pytorch3d.io import load_objs_as_meshes
from pytorch3d.ops import sample_points_from_meshes

# 加载 OBJ 文件并采样点云
mesh = load_objs_as_meshes(['model.obj'])
points = sample_points_from_meshes(mesh, 5000)  # 采样 5000 个点

# 数据归一化
points -= points.mean(dim=0)
points /= points.std(dim=0)

import torch.nn as nn

class PointNetCls(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.mlp = nn.Sequential(nn.Linear(3, 64),
            nn.ReLU(),
            nn.Linear(64, 128),
            nn.ReLU(),
            nn.Linear(128, num_classes)
        )

    def forward(self, x):
        # 全局平均池化
        x = self.mlp(x)
        return x.mean(dim=1)  # [B, N, C] -> [B, C]

初始化模型与优化器

model = PointNetCls(10).cuda()
opt = torch.optim.Adam(model.parameters(), lr=1e-3)

数据增强（训练时）

def augment(points):
    # 随机旋转
    angle = torch.rand(1) * 2 * math.pi
    rot_mat = torch.tensor([[math.cos(angle), -math.sin(angle), 0],
        [math.sin(angle), math.cos(angle), 0],
        [0, 0, 1]
    ]).float()
    return points @ rot_mat

损失计算

criterion = nn.CrossEntropyLoss()

for epoch in range(100):
    for pts, labels in train_loader:
        pts = pts.cuda()
        if is_train:
            pts = augment(pts)

        preds = model(pts)
        loss = criterion(preds, labels.cuda())

        opt.zero_grad()
        loss.backward()
        opt.step()

当点云超过 10 万点时：

将空间划分为固定大小的体素网格（如 5x5x5cm）
每个体素内保留最多 N 个点（如随机采样 3 个点）
使用稀疏卷积处理（如 MinkowskiEngine 库）

from torchsparse import SparseTensor

def voxelize(points, voxel_size=0.05):
    coords = (points / voxel_size).floor().int()
    # 去重得到体素坐标
    unique_coords, inverse = torch.unique(coords, return_inverse=True, dim=0)
    # 构建稀疏张量
    feats = torch.cat([points, torch.ones(len(points),1)], dim=1)
    return SparseTensor(feats, coords)