3D深度学习入门实战：从零构建你的第一个三维物体识别模型

1次阅读

共计 1796 个字符，预计需要花费 5 分钟才能阅读完成。

传统 2D 计算机视觉处理的是像素矩阵，而 3D 数据通常以点云 (point clouds) 或网格 (mesh) 形式存在。点云本质是稀疏的 (x,y,z) 坐标集合，可能还包含颜色、法向量等附加信息。这种数据结构带来两个核心挑战：

排列不变性：点云是无序集合，打乱点的顺序不应影响识别结果
非均匀密度：激光雷达扫描的近处物体点密集，远处则稀疏

模型	输入类型	计算复杂度	适用场景
PointNet	原始点云	O(n)	物体分类 / 部件分割
PointNet++	点云	O(nlogn)	精细粒度识别
VoxelNet	体素网格	O(n³)	自动驾驶等密集点云场景

对于初学者，建议从 PointNet 开始：

网络参数量仅 3.5M
无需预处理成体素
基准 ModelNet10 准确率可达 89.2%

# Colab 环境检查
import torch
print(f"PyTorch: {torch.__version__}")
!pip install pytorch3d -q
from pytorch3d.io import load_obj

关键步骤是中心化归一化和固定点数采样：

def normalize_pointcloud(points):
    """
    输入: (N,3)点云
    输出: 零中心化 + 单位球缩放后的点云
    """
    centroid = points.mean(axis=0)
    points -= centroid
    max_dist = np.max(np.sqrt(np.sum(points**2, axis=1)))
    points /= max_dist
    return points

def sample_points(points, n_samples=1024):
    """随机采样固定数量点，解决不同物体点数不一致问题"""
    if len(points) > n_samples:
        indices = np.random.choice(len(points), n_samples, replace=False)
    else:
        indices = np.random.choice(len(points), n_samples, replace=True)
    return points[indices]

T-Net 是学习空间变换的关键：

class TNet(nn.Module):
    def __init__(self, k=3):
        super().__init__()
        self.conv1 = nn.Conv1d(k, 64, 1)
        self.conv2 = nn.Conv1d(64, 128, 1)
        self.fc = nn.Linear(128, k*k)  # 输出变换矩阵

    def forward(self, x):
        # x 形状: (B,3,N)
        batchsize = x.size(0)
        x = F.relu(self.conv1(x))
        x = F.relu(self.conv2(x))
        x = torch.max(x, 2, keepdim=True)[0]
        x = x.view(-1, 128)
        x = self.fc(x)
        # 初始化为单位矩阵
        identity = torch.eye(3, device=x.device).view(1,9).repeat(batchsize,1)
        x = x + identity
        return x.view(-1, 3, 3)  # (B,3,3)

采样点数	准确率	推理时间(ms)
1024	89.2%	12.3
512	87.1%	8.7
256	83.5%	5.2

# 转换为 ONNX 格式
torch.onnx.export(model, dummy_input, "pointnet.onnx")

# TensorRT 量化命令
!trtexec --onnx=pointnet.onnx \
         --fp16 \
         --workspace=2048 \
         --saveEngine=pointnet_fp16.engine