CASMVSNet SOTA 实现：多视图立体视觉的高效解决方案与性能优化

1次阅读

共计 2170 个字符，预计需要花费 6 分钟才能阅读完成。

多视图立体视觉（MVS）在三维重建领域扮演着重要角色，但传统方法面临两大核心挑战：

计算复杂度高：随着视图数量和分辨率增加，传统代价体构建的计算量呈指数级增长
内存消耗大：高分辨率深度估计需要存储庞大的代价体，极易超出 GPU 显存容量

典型算法如 MVSNet 虽然取得了突破，但在处理 1024×768 分辨率图像时，单张显卡往往无法承载其内存需求。这种局限性严重制约了 MVS 技术在大规模场景中的应用。

方法	内存效率	计算复杂度	深度估计精度
MVSNet	低	O(NHDW)	高
RMVSNet	中	O(NHDW)	中
CASMVSNet	高	O(∑(H/2^i)(D/2^i)W/2^i)	高

关键差异体现在：

内存管理：CASMVSNet 采用级联结构，逐阶段降低分辨率
计算策略：通过由粗到细的预测方式减少冗余计算
精度保持：自适应视图聚合确保各阶段特征质量

多尺度特征提取：
使用共享权重的特征金字塔网络(FPN)
输出 1 /4, 1/8, 1/16 三种尺度特征图

分层代价体构造：

# 示例：构建第 l 层的代价体
def build_cost_volume(features, depth_hypotheses, l):
    B, C, H, W = features[0].shape
    volume = torch.zeros(B, C, len(depth_hypotheses), H, W)

    # 可微分单应性变换
    for i, (feat, depth) in enumerate(zip(features, depth_hypotheses)):
        warped = homo_warping(feat, depth, intrinsics, extrinsics)
        volume[:, :, i] = torch.mean((warped - ref_feature)**2, dim=1)
    return volume

渐进式优化：
第一阶段：低分辨率（1/16）粗估计
第二阶段：中等分辨率（1/8）优化
第三阶段：全分辨率（1/4）精修

可见性预测：
通过小型 CNN 预测各视图的可靠性权重
公式：$w_i = σ(CNN(f_i, f_{ref}))$

加权融合：

def adaptive_aggregation(features, weights):
    # features: [B,N,C,H,W], weights: [B,N,1,H,W]
    norm_weights = F.softmax(weights, dim=1)
    return torch.sum(features * norm_weights, dim=1)

概率体生成：
对代价体应用 softmax 生成概率分布
$P(d) = softmax(-C(d)/τ)$
深度期望计算：
$\hat{d} = ∑{d=d d·P(d)$}}^{d_{max}
置信度过滤：
基于概率分布的峰度剔除低质量预测

梯度检查点：

from torch.utils.checkpoint import checkpoint

def forward(self, x):
    # 仅在反向传播时重新计算中间结果
    return checkpoint(self._forward, x)

混合精度训练：

scaler = GradScaler()

with autocast():
    loss = model(inputs)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

动态深度范围：
前阶段预测结果作为后阶段深度假设中心
范围逐阶段缩小为原来的 1 /2

TensorRT 部署：

# 转换 ONNX 模型
torch.onnx.export(model, dummy_input, "casmvsnet.onnx")

# 构建 TensorRT 引擎
trt_engine = tensorrt.Builder(config)\
             .build_engine(network, parser)

DTU 数据集处理：
使用官方提供的 matlab 脚本生成深度真值
注意处理遮挡区域的无效值标记（通常为 -1）
数据增强策略：
颜色抖动（亮度±0.2，对比度±0.2）
随机水平翻转（需同步调整相机参数）

参数	推荐值	影响分析
初始学习率	0.001	过高导致训练不稳定
batch_size	4-8	受 GPU 显存限制
深度假设数	[48,32,8]	平衡精度与效率
视图数量 N	5-7	过多增加计算负担