基于因果干预（Causal Intervention）的图像分割技术：从经典论文到工程实践

1次阅读

共计 1947 个字符，预计需要花费 5 分钟才能阅读完成。

传统图像分割方法（如 FCN、U-Net）通常依赖大量标注数据，但在实际场景中常面临两类核心问题：

数据偏差问题 ：训练数据中某些类别与背景存在虚假关联（例如 ” 船 ” 类总是出现在水面），导致模型学习到错误的因果关系
混淆因素干扰 ：光照变化、遮挡等非语义因素会影响特征提取，模型可能错误地将这些因素作为分割依据

以 PASCAL VOC 数据集为例：

在原始数据集中，” 鸟 ” 类物体 70% 的样本出现在天空背景
使用传统交叉熵损失训练时，模型会将天空纹理错误识别为鸟类的判别特征
测试时遇到地面上的鸟类时，模型分割精度下降约 23%（论文实测数据）

方法	优点	缺点
数据增强	实现简单	无法消除固有偏差
对抗训练	抑制无关特征	训练不稳定
注意力机制	聚焦关键区域	仍受偏差影响
因果干预	解耦真实因果	计算成本略高

通过 do-calculus 数学框架（Pearl, 2009），可以：

显式建模背景（B）与目标（O）的因果关系：P(O|do(B))=P(O)
切断虚假的 back-door 路径（如图像纹理→预测结果）
保留真正的因果路径（如物体形状→预测结果）

参考《Causal Intervention for Weakly-Supervised Semantic Segmentation》(CVPR 2021) 的架构：

特征提取器 ：ResNet-50 backbone
干预模块 ：
对背景特征进行随机线性组合
通过矩阵分解消除与目标的虚假关联
分割头 ：常规的 ASPP+Decoder 结构

class CausalIntervention(nn.Module):
    def __init__(self, feat_dim=256):
        super().__init__()
        self.proj = nn.Linear(feat_dim, feat_dim)  # 特征投影

    def forward(self, bg_feat, obj_feat):
        """
        bg_feat: 背景特征 [B,C,H,W]
        obj_feat: 目标特征 [B,C,H,W]
        """
        # 1. 背景特征多样化
        bg = bg_feat.flatten(2).permute(0,2,1)  # [B,N,C]
        weight = torch.rand(bg.size(0), bg.size(1), device=bg.device)
        bg = (bg * weight.unsqueeze(-1)).mean(1)  # [B,C]

        # 2. 因果干预计算
        proj_bg = self.proj(bg)  # [B,C]
        obj = obj_feat.flatten(2).permute(0,2,1)  # [B,N,C]

        # 3. 正交分解（关键步骤）alpha = (obj * proj_bg.unsqueeze(1)).sum(-1, keepdim=True)  # [B,N,1]
        obj = obj - alpha * proj_bg.unsqueeze(1)  # 消除虚假关联

        return obj.permute(0,2,1).unflatten(2, obj_feat.shape[-2:])  # 恢复形状