因果干预在图像分割中的应用：从经典论文到实战解析

1次阅读

没有评论

共计 1678 个字符，预计需要花费 5 分钟才能阅读完成。

传统图像分割方法（如 FCN、U-Net）依赖局部像素关联性建模，但忽略了图像中存在的因果结构。例如，在医疗影像中，病灶区域可能被无关解剖结构（混淆因子）干扰，导致模型学习到虚假关联。这种缺陷表现为：

场景泛化差：在训练集分布外数据上性能骤降（如从白天切换到夜间场景）
标注效率低：需要大量精细标注抵消偏差
可解释性弱：决策过程难以追溯因果链条

因果干预的核心是通过 do-calculus 切断混淆因子（如光照、背景纹理）与目标变量的非因果关联。在图像分割中，这体现为：

结构化因果模型构建：将图像生成过程建模为有向无环图（DAG），明确像素 - 物体 - 场景的层级关系
干预操作实现：通过特征空间分层（如使用 ASPP 模块）分离内容与风格特征
反事实分析：计算 ” 若物体不在该位置，分割结果如何变化 ” 的对比损失

经典论文《Causal Intervention for Weakly-Supervised Semantic Segmentation》（CVPR 2021）提出两个关键技术：

Confounder Balancing：在特征空间对齐不同场景下的类别原型
Counterfactual Reasoning：通过扰动图像块生成反事实样本

以下 PyTorch 代码展示论文核心模块（完整实现需约 200 行）：

class CausalIntervention(nn.Module):
    """
    实现特征空间的 do-operation
    参数:
        feat_dim: 特征通道数
        n_prototypes: 类别原型数量
    """
    def __init__(self, feat_dim=256, n_prototypes=5):
        super().__init__()
        self.prototype = nn.Parameter(torch.randn(n_prototypes, feat_dim))

    def forward(self, x, mask):
        # x: [B,C,H,W], mask: [B,1,H,W]
        B, C, H, W = x.shape

        # 步骤 1: 计算类别条件特征均值
        foreground = x * mask  # 前景特征
        fg_mean = foreground.sum(dim=[2,3]) / (mask.sum(dim=[2,3]) + 1e-5)  # [B,C]

        # 步骤 2: 混淆因子平衡
        weight = F.softmax(fg_mean @ self.prototype.T, dim=1)  # [B,n_proto]
        balanced = weight @ self.prototype  # [B,C]

        # 步骤 3: 特征干预
        return x + balanced.view(B,C,1,1)

在 PASCAL VOC 2012 val set 上的测试结果（ResNet-50 backbone）：