CASMVSNet SOTA 入门指南：从零搭建高精度多视图立体匹配系统

1次阅读

共计 2382 个字符，预计需要花费 6 分钟才能阅读完成。

传统多视图立体匹配 (MVS) 方法在实际应用中面临几个关键挑战：

纹理缺失区域重建失败：传统基于特征匹配的方法在弱纹理区域（如白墙、单一颜色表面）难以提取有效特征，导致重建不完整
内存消耗大 ：构建全局代价体时，随着深度假设数量的增加，显存占用呈立方级增长（参考 MVSNet 的 O(NDHW) 复杂度）
自适应能力差：固定深度假设范围和视图数量难以适应不同场景需求（如近距离物体需要更高精度采样）

这些问题在复杂室内外场景中尤为突出，限制了传统方法的实用化进程。

对比主流 MVS 方案的技术差异：

方法	核心创新	优势	局限性
MVSNet	端到端可学习代价体	首次实现深度学习 MVS 框架	显存消耗大，精度有限
RMVSNet	循环正则化代价体	显著降低显存占用	时序依赖影响并行效率
CASMVSNet	级联代价体 + 自适应视图聚合	高精度 + 高效率的平衡	超参数调节复杂度稍高

CASMVSNet 的关键创新点：

级联代价体结构：
通过粗到精的三阶段代价体（32→8→4 深度假设）
每阶段基于前阶段结果缩小深度假设范围（CVPR2021 论文证明可减少 67% 显存）
自适应视图聚合：
动态计算参考视图与源视图的相似性权重
有效抑制冗余视图的干扰（特别在处理遮挡时）

import torch
import torch.nn as nn

class CascadeCostVolume(nn.Module):
    """
    级联代价体实现（三阶段结构）参数说明：stage_configs: 各阶段配置[(depth_num, interval) ]
        feat_channels: 特征通道数
    """
    def __init__(self, stage_configs, feat_channels=32):
        super().__init__()
        self.stages = nn.ModuleList([self._build_stage(depth_num, interval, feat_channels)
            for depth_num, interval in stage_configs
        ])

    def _build_stage(self, depth_num, interval, channels):
        return nn.Sequential(CostVolumeRegularization(channels),
            DepthRegression(depth_num, interval)
        )

标准处理流程：

图像归一化
均值：[0.485, 0.456, 0.406]
方差：[0.229, 0.224, 0.225]
深度图转换
将原始深度图转换为视差空间（1/depth）
根据场景尺度设置最大 / 最小深度值
视图选择
基于视图得分排序（参考论文中的几何一致性度量）
默认选择 top- 5 视图作为源视图

复合损失函数包含三个关键部分：

loss = 0.0
for stage_idx in range(3):
    # 阶段权重递减（1.0, 0.8, 0.5）weight = [1.0, 0.8, 0.5][stage_idx]

    # L1 损失（深度图）l1_loss = F.smooth_l1_loss(pred_depths[stage_idx], gt_depth)

    # 梯度差异损失
    grad_loss = compute_grad_loss(pred_depths[stage_idx], gt_depth)

    # 归一化损失（ICCV2019 证明可提升边缘质量）norm_loss = compute_normal_loss(pred_depths[stage_idx], gt_depth)

    loss += weight * (l1_loss + 0.5*grad_loss + 0.3*norm_loss)

梯度检查点：
在代价体正则化模块启用 checkpointing
可节省约 40% 显存（以 20% 训练时间为代价）
混合精度训练：
使用 AMP 自动混合精度
需注意 softmax 操作需保持 fp32

数据并行：
batch_size= 4 时建议使用 2 - 4 卡
需同步 BN 统计量
模型并行：
将不同阶段代价体分布到不同设备（适合超大场景）

深度范围设置不当：
症状：重建物体出现截断
解决方案：
- 分析场景尺度分布
- 使用动态范围调整（参考论文 3.2 节）
光照适应性问题：
症状：过曝 / 欠曝区域重建失败
改进方案：
- 输入添加 gamma 校正
- 在损失函数中加入光照不变性约束

Colab 示例核心代码：

!pip install open3d torchmetrics

# 加载预训练模型
model = CascadeMVSNet().cuda()
model.load_state_dict(torch.load('casmvsnet.pth'))

# 运行推理
with torch.no_grad():
    outputs = model({'imgs': input_imgs,  # [B,V,3,H,W]
        'proj_matrices': proj_mats  # [B,V,4,4]
    })

# 点云生成
points = depth_to_pointcloud(outputs['stage3']['depth'], proj_mats[0,0])
o3d.io.write_point_cloud("output.ply", points)