CASMVSNet SOTA 实现：多视图立体视觉的高效解决方案与性能优化

1次阅读

共计 3133 个字符，预计需要花费 8 分钟才能阅读完成。

多视图立体视觉（MVS）是三维重建中的核心技术，但传统方法面临两大核心挑战：

计算复杂度呈指数增长 ：随着视图数量和分辨率提高，代价体构建的计算量达到 O(NDHW) 量级（N 为视图数，D 为深度假设数，H/ W 为图像尺寸）
内存占用瓶颈：高分辨率场景下，显存消耗常超过主流 GPU 容量（如 MVSNet 处理 1600×1200 图像需 12GB+ 显存）

传统解决方案如 MVSNet 采用固定深度假设区间，导致：

远距离物体重建精度不足
无效深度假设浪费计算资源

方法	内存消耗	计算效率	重建精度	适应性
MVSNet	高	低	中等	固定区间
RMVSNet	中	中	较高	递归优化
CASMVSNet	低	高	高	自适应

核心创新点对比：

MVSNet：单阶段代价体，固定深度采样
RMVSNet：递归代价体更新，内存优化
CASMVSNet：级联代价体 + 自适应视图选择

实现分三个阶段由粗到细处理：

Stage1（低分辨率）：
深度假设范围：0.1m – 10m
特征图下采样至 1 /16 原始尺寸
构建基础代价体
Stage2（中分辨率）：
基于 Stage1 结果缩小深度范围
特征图上采样至 1 / 4 尺寸
计算局部代价体
Stage3（高分辨率）：
深度假设仅在前阶段置信区间内
原始分辨率处理
输出最终深度图

数学表达：

C_i = ∑_{j=1}^N w_j · ||f_i - f_j||_2  # 代价体计算
其中 w_j 为自适应视图权重

关键实现步骤：

计算视图可见性得分：

def compute_visibility(ref_img, src_imgs, depth_hypotheses):
    # 使用光度一致性度量
    scores = []
    for d in depth_hypotheses:
        warped_imgs = homography_warp(src_imgs, d)
        diff = torch.abs(warped_imgs - ref_img)
        scores.append(1 - nn.functional.normalize(diff, p=1, dim=1))
    return torch.stack(scores, dim=0)

动态选择 Top- K 视图（默认 K =5）：
排除遮挡严重的视图
保留纹理丰富的参考视图

后处理流程：

概率体→深度估计：
```
depth = ∑_d (p(d) * d) / ∑_d p(d)
```
多尺度一致性检查：
比较不同 stage 的深度估计
过滤不一致区域

双边滤波平滑：

import kornia
refined_depth = kornia.filters.bilateral_blur(depth_map, kernel_size=7, sigma_color=0.2, sigma_space=3.0)

class CascadeCostVolume(nn.Module):
    def __init__(self, stages=3):
        super().__init__()
        self.stages = stages
        self.feature_pyramid = FeaturePyramidNet()

    def forward(self, ref_img, src_imgs, intrinsics, poses):
        depth_hypotheses = self.generate_depth_hypos(ref_img)

        for stage in range(self.stages):
            # 获取当前 stage 特征
            ref_feat = self.feature_pyramid(ref_img, stage)
            src_feats = [self.feature_pyramid(img, stage) for img in src_imgs]

            # 构建代价体
            cost_volume = build_cost_volume(
                ref_feat, src_feats, 
                depth_hypotheses[stage], 
                intrinsics[stage], poses)

            # 自适应视图聚合
            aggregated_cost = adaptive_aggregation(
                cost_volume, 
                visibility_scores[stage])

            # 深度预测
            depth = predict_depth(aggregated_cost)

            # 更新深度假设范围
            if stage < self.stages - 1:
                depth_hypotheses[stage+1] = refine_depth_hypos(depth)

        return depth

梯度检查点技术：

from torch.utils.checkpoint import checkpoint

def forward(self, x):
    return checkpoint(self._forward, x)

混合精度训练：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

动态分辨率调整：
根据 GPU 剩余显存自动降低中间阶段分辨率

TensorRT 部署：

trtexec --onnx=casmvsnet.onnx \
        --saveEngine=casmvsnet.engine \
        --fp16 --workspace=4096

视图选择剪枝：
提前剔除相似度过高的冗余视图
减少 30% 计算量

异步数据流水线：

dataloader = DataLoader(dataset, 
                       num_workers=4,
                       pin_memory=True,
                       prefetch_factor=2)

DTU 数据集预处理：

def process_dtu_sample(scene_dir):
    # 对齐曝光参数
    images = exposure_compensation(load_images(scene_dir))
    # 生成真值点云
    point_cloud = generate_ground_truth(scene_dir)
    # 创建深度图
    depth_maps = project_point_cloud(images, point_cloud)
    return images, depth_maps

参数	推荐值	影响分析
初始学习率	0.001	过高导致训练震荡
batch_size	8	视 GPU 显存调整
深度假设数	48/32/16	三阶段递减策略
视图数量	5	平衡精度与效率