3D Patch在计算机视觉中的核心原理与应用实践

1次阅读

没有评论

共计 2035 个字符，预计需要花费 6 分钟才能阅读完成。

在 2D 图像处理中，卷积核通过滑动窗口提取局部特征早已成为标准操作。但当面对 3D 点云或体素数据时，这种固定网格采样方式面临根本性挑战：

数据稀疏性：点云在三维空间中的非均匀分布导致大量 ” 空洞 ” 区域
几何复杂性：物体表面曲率和法线方向变化需要各向异性处理
计算复杂度：立方增长的体素数量（N³ vs N²）带来内存爆炸问题

这促使我们采用 3D Patch——一种自适应局部区域划分方式，其核心差异在于：

采样策略：从规则网格到基于 k 近邻（KNN）的拓扑保持采样
特征描述：从 RGB 通道扩展到包含坐标、法线、曲率等多模态信息
计算范式：从密集卷积转向稀疏图神经网络聚合

一个规范的 3D Patch 可表示为：

$$\mathcal{P}_i = {(p_j, f_j) | j \in \mathcal{N}(i) }$$

其中：
– $p_j \in \mathbb{R}^3$ 表示邻域点相对于中心点 $p_i$ 的坐标偏移
– $f_j \in \mathbb{R}^d$ 包含该点的特征（如 RGB、强度等）
– $\mathcal{N}(i)$ 定义邻域选择策略，常见的有：

固定半径球查询（radius search）
K 最近邻（KNN）
混合查询（KNN+ 半径约束）

以下 PyTorch 代码演示了支持批处理的 KNN Patch 提取层：

import torch
from knn_cuda import KNN  # 需安装 knn_cuda 库

class PatchExtractor(torch.nn.Module):
    def __init__(self, k=16):
        super().__init__()
        self.k = k
        self.knn = KNN(k=k, transpose_mode=True)

    def forward(self, xyz, features):
        """
        输入：xyz: [B, N, 3] 点云坐标
            features: [B, N, C] 点特征
        输出：patches: [B, N, K, 3+C] 局部 Patch 集合
        """
        B, N, _ = xyz.shape
        # 寻找 K 近邻
        _, idx = self.knn(xyz, xyz)  # [B, N, K]
        # 收集邻域点
        neighbor_xyz = torch.gather(xyz.unsqueeze(2).expand(-1, -1, self.k, -1),
            1,
            idx.unsqueeze(-1).expand(-1, -1, -1, 3)
        )  # [B, N, K, 3]
        # 计算相对坐标
        central_xyz = xyz.unsqueeze(2)  # [B, N, 1, 3]
        relative_xyz = neighbor_xyz - central_xyz
        # 拼接特征
        neighbor_features = torch.gather(features.unsqueeze(2).expand(-1, -1, self.k, -1),
            1,
            idx.unsqueeze(-1).expand(-1, -1, -1, features.shape[-1])
        )  # [B, N, K, C]
        return torch.cat([relative_xyz, neighbor_features], dim=-1)

关键参数选择经验：

K 值选择：
室内场景推荐 K =16~32
室外大尺度场景需增大到 K =64~128
半径约束：
建议设置为平均点间距的 3~5 倍
可通过 torch_cluster.radius_graph 实现混合查询

面对百万级点云时，这些技巧可节省 90% 显存：

八叉树空间划分：
使用 torchsparse 库实现稀疏体素化
非空体素索引存储节省内存
梯度检查点：
在反向传播时重新计算中间结果
通过 torch.utils.checkpoint 实现
量化压缩：
将 float32 特征转为 int8/bfloat16
注意维护 BatchNorm 统计量

在自动驾驶实际项目中，我们总结出以下黄金准则：

多尺度融合：
第一层用 K =16 提取几何细节
第二层 K =64 捕获结构特征
通过 MAX pooling 跨尺度聚合

法线一致性约束：

# 计算法线夹角余弦
cos_sim = torch.einsum('bnik,bnik->bni', 
                      normals_patch, 
                      normals_center.unsqueeze(2))
weights = torch.sigmoid(5 * (cos_sim - 0.8))  # 锐化阈值
weighted_feats = features_patch * weights.unsqueeze(-1)