元学习(Meta-Learning)入门指南：如何让AI学会学习

1次阅读

没有评论

共计 2130 个字符，预计需要花费 6 分钟才能阅读完成。

传统深度学习就像让一个学生死记硬背 1000 道题来应付考试。但当遇到全新的 5 道题时（小样本场景），这个学生可能完全不会做。这就是深度学习的局限性——需要海量数据才能表现良好。

数据依赖性强：训练一个图像分类器可能需要上万张标注图片
泛化能力弱：面对新类别时往往需要重新训练整个模型
适应成本高：每次遇到新任务都要从头开始学习

很多人容易混淆这两个概念，其实它们有本质区别：

学习目标不同
迁移学习：将 A 任务的知识迁移到 B 任务
元学习：学习如何快速学习新任务
训练方式不同
迁移学习通常分预训练和微调两阶段
元学习采用 episode 训练模式（下文会详细解释）
应用场景不同
迁移学习适合目标任务与源任务相似的场景
元学习专为小样本快速适应设计

这个算法可以用班级平均分的概念来理解：

把每个类别的样本特征取平均，得到该类别的 ” 原型 ”(prototype)
新样本通过比较与各个原型的距离来分类
整个过程就像用班级平均分判断新同学的学业水平

关键优势在于：

不需要复杂的距离度量
计算效率高
在小样本场景下表现稳定

我们使用 Omniglot 数据集（包含 1623 种手写字符）：

from torchmeta.datasets import Omniglot
from torchmeta.transforms import ClassSplitter

dataset = Omniglot("./data", 
                 transform=transforms.Compose([transforms.Resize(28),
                     transforms.ToTensor()]),
                 target_transform=None,
                 num_classes_per_task=5,  # 5-way 分类
                 meta_train=True)

dataset = ClassSplitter(dataset, shuffle=True, num_train_per_class=1, num_test_per_class=1)  # 1-shot

import torch.nn as nn
import torch.nn.functional as F

class ProtoNet(nn.Module):
    def __init__(self, in_channels=1, hidden_size=64):
        super().__init__()
        self.encoder = nn.Sequential(nn.Conv2d(in_channels, hidden_size, 3, padding=1),
            nn.BatchNorm2d(hidden_size),
            nn.ReLU(),
            nn.MaxPool2d(2),
            # 后续层省略...
        )

    def forward(self, support_x, query_x):
        # 计算原型
        support_z = self.encoder(support_x)
        proto = support_z.mean(dim=0)  # 按类别取平均

        # 计算查询样本特征
        query_z = self.encoder(query_x)

        # 计算欧式距离
        dist = torch.cdist(query_z, proto)
        return -dist  # 负距离转换为相似度

model = ProtoNet()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

for epoch in range(100):
    for task in dataloader:
        support_x, support_y, query_x, query_y = task

        # 前向传播
        logits = model(support_x, query_x)
        loss = F.cross_entropy(logits, query_y)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

在实际训练中，新手常遇到这些问题：