3D重建预训练模型入门指南：从原理到实战避坑

1次阅读

共计 1854 个字符，预计需要花费 5 分钟才能阅读完成。

3D 重建（3D Reconstruction）是从 2D 图像或稀疏点云中恢复物体三维结构的任务，主要面临以下挑战：

点云稀疏性（Point Cloud Sparsity）：激光雷达等设备采集的数据密度低，导致局部细节丢失
视角缺失（View Occlusion）：单视角拍摄无法获取物体全貌，如图 1 所示
几何歧义性（Geometric Ambiguity）：不同 3D 形状可能产生相同的 2D 投影

图 1 相机视角受限导致的物体背面信息缺失

模型名称	输入类型	优势领域	开源实现
PointNet++	点云 (Point Cloud)	零件分割	TorchPoints3D
Pix2Vox	多视图图像 (Multi-view Images)	整体形状重建	GitHub 官方仓库
3D-R2N2	单视图图像 (Single-view Image)	低分辨率重建	TensorFlow 实现

import torch
from torch_geometric.data import Data

def normalize_pointcloud(pc):
    """
    点云归一化处理
    Args:
        pc: (N,3) 维点云坐标
    Returns:
        归一化后的点云，减去中心点并缩放到单位球内
    """
    centroid = torch.mean(pc, dim=0)
    pc = pc - centroid
    max_dist = torch.max(torch.sqrt(torch.sum(pc**2, dim=1)))
    pc = pc / max_dist
    return pc

from torch_geometric.nn import PointNet2

# 加载预训练模型
model = PointNet2(in_channels=3, out_channels=10)
pretrained_dict = torch.load('pointnet2_pretrained.pth')
model.load_state_dict(pretrained_dict)

# 冻结底层特征提取器
for param in model.encoder.parameters():
    param.requires_grad = False

# 仅训练分类头
optimizer = torch.optim.Adam(model.decoder.parameters(), lr=0.001)

def chamfer_distance(pred, gt):
    """
    计算倒角距离 (Chamfer Distance)
    Args:
        pred: 预测点云 (M,3)
        gt: 真实点云 (N,3)
    Returns:
        CD 值 (越小越好)
    """
    dist_matrix = torch.cdist(pred, gt)
    dist1 = torch.min(dist_matrix, dim=1)[0].mean()
    dist2 = torch.min(dist_matrix, dim=0)[0].mean()
    return (dist1 + dist2) / 2

使用梯度累加（Gradient Accumulation）：每 4 个 batch 更新一次参数
启用混合精度训练（AMP）：减少 FP32 显存占用

# 在 PointNet++ 中设置多尺度采样半径
ssg_params = [(32, 0.1),  # 第一层：32 个中心点，0.1m 半径
    (64, 0.2),  # 第二层：64 个中心点，0.2m 半径
    (128, 0.4)  # 第三层：128 个中心点，0.4m 半径
]