深入解析CASMVSnet SOTA：多视图立体视觉的技术实现与性能优化

1次阅读

没有评论

共计 1927 个字符，预计需要花费 5 分钟才能阅读完成。

多视图立体视觉（MVS）长期以来面临两大核心挑战：

内存消耗问题 ：传统基于代价体的方法（如 MVSNet）需要构建完整分辨率的 3D 代价体，假设输入图像尺寸为 $H×W$，深度假设数为 $D$，则内存占用为 $O(HWD)$。当处理 4K 图像时（$H=2160, W=3840$），即使 $D=128$，单代价体就需要约 4GB 显存。
深度估计精度不足 ：固定间隔的深度假设会导致：（1）近处物体采样不足（如 1m 处的 10mm 间隔误差占比 1%），（2）远处无效采样（如 100m 处的相同绝对间隔几乎无意义）。

数学表达分三个阶段构建代价体：

粗阶段 ：深度范围 $[d_{min}, d_{max}]$，假设数 $D_1=48$
$$C_1(u,v,d) = \frac{1}{N}\sum_{i=1}^N ||f_{ref}(u,v) – f_i(\pi_i(\pi_{ref}^{-1}(u,v,d)))||$$
中等阶段 ：在初始预测 $\hat{d}_1±\Delta d$ 范围内，$D_2=32$
精细阶段 ：$\hat{d}_2±\delta d$，$D_3=8$

显存优化达 70%：假设原始 $D=128$，级联方案 $48+32+8=88$，且各阶段分辨率逐级提高（1/4→1/2→1x）。

核心实现步骤：

计算视图权重矩阵：
$$w_i = softmax(MLP([f_{ref}; f_i; f_{ref}-f_i]))$$
加权聚合特征：
$$f_{agg} = \sum_{i=1}^N w_i \cdot f_i$$

对比实验显示，在 DTU 数据集上，该设计使视图遮挡区域的错误率降低 12%。

# 级联代价体构建（PyTorch 示例）class CascadeCostVolume(nn.Module):
    def __init__(self, stages=[48,32,8], feat_ch=32):
        super().__init__()
        self.stages = stages
        self.cost_volumes = nn.ModuleList([CostVolume(D, feat_ch) for D in stages
        ])

    def forward(self, ref_feat, src_feats, depth_ranges):
        """
        ref_feat: [B,C,H,W]
        src_feats: List[[B,C,H,W]]
        depth_ranges: List[[B,2]] 各阶段的深度范围
        """
        preds = []
        for i, (cv, (d_min, d_max)) in enumerate(zip(self.cost_volumes, depth_ranges)):
            # 当前阶段深度假设
            depth_hypos = torch.linspace(d_min, d_max, self.stages[i])

            # 构建代价体并预测
            cost_vol = cv(ref_feat, src_feats, depth_hypos)
            prob_vol = nn.Softmax(dim=1)(-cost_vol)
            pred_depth = (prob_vol * depth_hypos).sum(dim=1)

            # 更新下一阶段范围
            if i < len(self.stages)-1:
                depth_ranges[i+1] = self._get_next_range(pred_depth)
            preds.append(pred_depth)
        return preds