元学习实战：2-way 5-shot示例在少样本分类中的核心机制与优化策略

1次阅读

共计 1805 个字符，预计需要花费 5 分钟才能阅读完成。

在医疗影像分析、工业质检等场景中，获取大量标注数据往往成本高昂。传统迁移学习（Transfer Learning）虽然能复用预训练特征，但当目标领域样本极少时（如每类仅 5 张图），其最后一层分类器仍容易过拟合。这就像试图用 10 个单词学习一门外语——缺乏足够的上下文来建立有效模式。

方法	计算复杂度（N=5,K=2）	内存占用	关键创新点
MAML	O(KN + K^2)	高	二阶梯度优化
Prototypical Networks	O(KN)	低	类原型欧式距离分类
Relation Networks	O(KN + K^2)	中	关系评分器代替距离度量

class EpisodeSampler:
    """支持 2 -way 5-shot 的任务生成器"""
    def __init__(self, dataset, n_way=2, k_shot=5):
        self.classes = np.unique(dataset.targets)
        self.n_way = n_way
        self.k_shot = k_shot

    def __call__(self) -> Tuple[torch.Tensor, torch.Tensor]:
        """
        返回: 
            support_set: [n_way*k_shot, C, H, W]
            query_set: [n_way*query_size, C, H, W]
        """
        selected_classes = np.random.choice(self.classes, self.n_way, False)
        support, query = [], []
        for cls in selected_classes:
            samples = self._get_class_samples(cls)
            support.extend(samples[:self.k_shot])  # 前 5 个作为 support
            query.extend(samples[self.k_shot:])    # 剩余作为 query
        return torch.stack(support), torch.stack(query)

def compute_prototypes(support_features: torch.Tensor, n_way: int) -> torch.Tensor:
    """
    输入: 
        support_features - [n_way*k_shot, feature_dim]
    输出: 
        prototypes - [n_way, feature_dim]
    """
    # 将特征按类别分组并求均值
    return support_features.reshape(n_way, -1, support_features.size(-1)).mean(dim=1)

# 分类概率计算（负欧式距离）logits = -torch.cdist(query_features, prototypes, p=2)  # [n_query, n_way]

初始随机嵌入呈现混沌分布
第一次更新后出现类别聚集趋势
第五次更新时同类样本距离缩短 50% 以上

当 support set 仅含 5 个样本时：
– BatchNorm 统计量（均值 / 方差）极不稳定
– 测试时 running stats 与训练时差异导致性能暴跌

推荐方案：

class FewShotEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, 3)
        self.norm1 = nn.LayerNorm([64, 32, 32])  # 替代 BatchNorm
        self.conv2 = nn.Conv2d(64, 128, 3)
        self.norm2 = nn.LayerNorm([128, 16, 16])