AMP：自适应掩码代理在少样本分割中的技术解析——元学习还是度量学习？

1次阅读

没有评论

共计 2276 个字符，预计需要花费 6 分钟才能阅读完成。

少样本分割（Few-shot Segmentation）任务要求模型仅用极少量标注样本（如 1 - 5 张）就能识别新类别。传统全监督方法面临两大核心问题：

数据依赖性强 ：深度学习模型通常需要大量标注数据，而医疗影像、遥感等领域的标注成本极高
泛化能力不足 ：固定参数的网络难以快速适应未见过的类别，导致跨域性能骤降

现有解决方案主要分为两类：基于微调（Fine-tuning）的方法需要每个新任务都调整网络参数，计算开销大；基于原型网络（Prototypical Networks）的方法则依赖简单的特征均值作为类别代表，无法处理类内差异大的情况。

AMP（Adaptive Masked Proxies）通过动态代理和自适应掩码机制创新性地解决了上述问题，其核心组件包括：

多尺度特征提取 ：使用金字塔结构捕获从局部细节到全局语义的特征
动态掩码生成 ：通过轻量级网络预测空间注意力权重，聚焦关键区域

类别代理库 ：维护可学习的 embedding 作为类别表征（维度通常为 256-512）
元学习式更新 ：在 support set 上计算代理梯度后，采用类似 MAML 的内循环更新
度量学习约束 ：通过对比损失（如 InfoNCE）拉近同类样本与代理的距离

体现形式 ：在 5 -way 1-shot 任务中，AMP 将每个 episode 视为独立任务，通过内循环（inner-loop）快速调整代理
优势：模拟测试时的 few-shot 场景，增强快速适应能力
局限：需要设计复杂的双层优化，训练稳定性较差

体现形式 ：代理作为类别中心点，通过余弦相似度计算 query 与代理的匹配度
优势：几何解释明确，计算效率高
局限：对特征空间分布假设较强（如高斯分布）

实际应用中，AMP 巧妙融合了两种范式：用元学习机制更新代理，用度量学习进行最终预测。实验表明这种混合策略在 Pascal-5i 上比纯元学习方法 mIoU 提升 3.2%。

# 代理初始化（PyTorch 风格）class ProxyBank(nn.Module):
    def __init__(self, num_classes, feat_dim=512):
        super().__init__()
        self.proxies = nn.Parameter(torch.randn(num_classes, feat_dim))
        nn.init.kaiming_normal_(self.proxies)

    def forward(self, class_ids):
        return self.proxies[class_ids]  # 支持批量索引

# 自适应掩码生成
class MaskHead(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.conv = nn.Sequential(nn.Conv2d(in_channels, in_channels//4, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(in_channels//4, 1, 1)
        )

    def forward(self, x):
        return torch.sigmoid(self.conv(x))  # 输出 0 - 1 的注意力图

# 元学习式代理更新（伪代码）def meta_update(support_feats, support_labels, proxy_bank):
    fast_weights = OrderedDict(proxy_bank.named_parameters())
    for _ in range(inner_steps):
        # 计算 support set 上的对比损失
        loss = contrastive_loss(support_feats, support_labels, fast_weights)
        grads = torch.autograd.grad(loss, fast_weights.values())
        # 手动更新代理参数
        fast_weights = {k: v - lr * g for (k,v), g in zip(fast_weights.items(), grads)}
    return fast_weights

在标准 benchmark 上的对比结果（mIoU/%）：