因果干预在图像分割中的应用：从经典论文到实战解析

1次阅读

没有评论

共计 2619 个字符，预计需要花费 7 分钟才能阅读完成。

传统图像分割方法（如 FCN、U-Net）通常基于相关性建模，将分割任务视为像素级分类问题。这类方法存在两个根本缺陷：

混淆因子干扰：场景中的背景特征（如天空颜色、物体共现）可能被误认为分割依据。例如，在 PASCAL VOC 数据集中，船往往与水面共同出现，导致模型将水体纹理作为船的判别特征。
分布偏移敏感：当测试数据与训练数据分布不一致时（如医疗影像中不同扫描设备产生的图像），模型性能会显著下降。2019 年 ICCV 的研究表明，传统方法在跨域测试时 mIoU 可能下降 15%-20%。

因果干预的核心是通过 do-calculus 切断混淆因子（confounder）对预测的影响。在图像分割中，其实现包含三个关键步骤：

因果图构建：建立输入图像 X、分割目标 Y 与混淆因子 C 的因果关系，典型结构为 C→X→Y
干预操作 ：通过 do(X)= x 阻断来自 C 的影响，计算 P(Y|do(X)) 而非 P(Y|X)
反事实推理：模拟 ” 如果输入图像不包含特定背景特征时，分割结果会如何变化 ”

经典论文《Causal Intervention for Weakly-Supervised Semantic Segmentation》（CVPR 2021）提出通过重加权（reweighting）实现干预：

# 因果干预的权重计算（PyTorch 实现）class CausalIntervention(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.confounder_net = nn.Linear(2048, num_classes)  # 混淆因子估计网络

    def forward(self, features, labels):
        # features: backbone 提取的特征 [B, C, H, W]
        # labels: 弱监督标签 [B, num_classes]
        confounder_logits = self.confounder_net(features.mean(dim=[2,3]))
        p_c_given_x = F.softmax(confounder_logits, dim=1)
        p_y_given_x_do = labels / (p_c_given_x + 1e-8)  # 干预计算
        return p_y_given_x_do / p_y_given_x_do.sum(dim=1, keepdim=True)

完整实现包含以下关键组件（完整代码见 GitHub 仓库）：

数据预处理：

# 基于 CAM 生成伪标签
def generate_pseudo_labels(model, dataloader):
    model.eval()
    with torch.no_grad():
        for images, _ in dataloader:
            cams = model(images).detach()
            pseudo_labels = (cams > 0.3).float()  # 阈值化
            yield images, pseudo_labels

模型架构：

class CausalSegModel(nn.Module):
    def __init__(self, backbone='resnet50'):
        super().__init__()
        self.backbone = timm.create_model(backbone, features_only=True)
        self.causal_head = CausalIntervention(num_classes=21)
        self.decoder = nn.Conv2d(2048, 21, kernel_size=1)

    def forward(self, x, labels=None):
        features = self.backbone(x)[-1]
        if labels is not None:
            weights = self.causal_head(features, labels)
            return self.decoder(features) * weights.unsqueeze(-1).unsqueeze(-1)
        return self.decoder(features)

训练循环：

# 带因果干预的损失计算
def causal_loss(pred, target, intervention):
    ce_loss = F.binary_cross_entropy_with_logits(pred, target)
    if intervention:
        pred_do = model(images, pseudo_labels)  # 干预预测
        do_loss = F.mse_loss(pred.sigmoid(), pred_do.sigmoid())
        return ce_loss + 0.3 * do_loss  # 加权组合
    return ce_loss

在 PASCAL VOC 2012 验证集上的实验结果：