元学习实战：基于Model-Agnostic Meta-Learning (MAML) 的小样本学习解决方案

1次阅读

共计 2048 个字符，预计需要花费 6 分钟才能阅读完成。

传统深度学习依赖海量数据，但在医疗诊断、工业质检等场景中，获取大量标注样本成本极高。例如新药研发可能只有几十个患者数据样本，这时常规 CNN 模型往往表现不佳。2017 年 Finn 等人提出的 MAML 框架，通过 ” 学会学习 ” 的机制，使模型在仅 5 -10 个样本下就能快速适应新任务。

依赖源任务与目标任务的强相关性
特征提取器固定，微调层数有限
容易发生过拟合（如图 1 所示）

双层优化问题形式化表示：

\min_\theta \sum_{T_i\sim p(T)} L_{T_i}(f_{\theta'_i}) \quad\text{其中}\quad \theta'_i = \theta - \alpha \nabla_\theta L_{T_i}(f_\theta)

关键突破点：
1. 内循环（Inner Loop）：每个任务独立快速适应
2. 外循环（Outer Loop）：跨任务共享初始化参数

class TaskSampler:
    def __init__(self, dataset, n_way, k_shot, q_query):
        self.dataset = dataset
        # 实现 episode 生成逻辑

    def __iter__(self):
        for _ in range(self.epoch_size):
            # 随机选择 n_way 个类别
            classes = np.random.choice(...)
            # 每类采样 k_shot+q_query 个样本
            support = []
            query = []
            yield support, query

def inner_adapt(model, support_data, lr_inner):
    fast_weights = OrderedDict(model.named_parameters())
    # 1~5 步梯度更新
    for _ in range(inner_steps):
        loss = compute_loss(support_data, fast_weights)
        grads = torch.autograd.grad(loss, fast_weights.values())
        # 手动更新参数
        fast_weights = {name: param - lr_inner*grad 
                       for (name,param),grad in zip(fast_weights.items(), grads)}
    return fast_weights

meta_optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

for epoch in range(100):
    meta_loss = 0
    for support, query in task_sampler:
        # 内循环适应
        adapted_weights = inner_adapt(model, support, 0.01)
        # 计算 query loss
        query_loss = compute_loss(query, adapted_weights)
        # 外循环反向传播
        meta_loss += query_loss

    meta_optimizer.zero_grad()
    meta_loss.backward()
    # 梯度裁剪防止爆炸
    torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)
    meta_optimizer.step()