MetaOptNet解析：如何用可微凸优化实现元学习的高效特征平衡

1次阅读

共计 2212 个字符，预计需要花费 6 分钟才能阅读完成。

在传统的元学习（如 Prototypical Networks）中，随着特征维度增加会出现两个矛盾现象：

高维特征能编码更多判别信息，使支持集（support set）分类准确率快速提升
但查询集（query set）的泛化性能会在维度超过阈值后急剧下降，典型表现为 5 -way 1-shot 任务中维度超过 2048 时准确率下降 15% 以上

这种现象源于小样本条件下高维空间的样本稀疏性——当特征维度 $d$ 与样本数 $n$ 满足 $d \gg n$ 时，类内协方差矩阵变得病态，导致距离度量失效。

Prototypical Networks：直接使用欧氏距离计算原型（prototype），没有显式优化特征空间结构
MAML：通过梯度更新调整初始参数，但无法保证特征空间的几何性质

核心公式：
$$
\min_{W} \frac{1}{2} |W|_F^2 + C \sum_i \xi_i \quad \text{s.t.} \quad \forall i, y_i(W^T x_i + b) \geq 1 – \xi_i
$$

关键改进：
1. 将支持集分类问题转化为可微凸优化问题
2. 通过 QP 层实现端到端的特征空间结构调整
3. 优化目标同时考虑分类间隔和特征维度惩罚

import torch
import cvxpy as cp

class DifferentiableQP(torch.autograd.Function):
    """
    实现可微二次规划层
    前向传播：求解标准 QP 问题
    反向传播：使用隐函数求导计算梯度
    """
    @staticmethod
    def forward(ctx, Q, p, G, h):
        # 转换为 numpy 数组
        Q_np = Q.detach().cpu().numpy()
        p_np = p.detach().cpu().numpy()
        G_np = G.detach().cpu().numpy()
        h_np = h.detach().cpu().numpy()

        # 定义 CVXPY 变量
        x = cp.Variable(Q_np.shape[0])
        prob = cp.Problem(cp.Minimize((1/2)*cp.quad_form(x, Q_np) + p_np.T @ x),
            [G_np @ x <= h_np]
        )
        prob.solve()

        # 保存求解结果用于反向传播
        ctx.save_for_backward(torch.tensor(x.value), Q, G)
        return torch.tensor(x.value)

    @staticmethod
    def backward(ctx, grad_output):
        x_star, Q, G = ctx.saved_tensors
        # 构造 KKT 条件雅可比矩阵
        ... # 详细实现见完整代码
        return grad_Q, grad_p, grad_G, grad_h

def metaopt_loss(support_features, query_features, way_num):
    """
    support_features: (way_num * shot_num, feature_dim)
    query_features: (query_num, feature_dim)
    """
    # 计算类别原型
    prototypes = support_features.reshape(way_num, -1).mean(dim=1)

    # 构造 QP 参数
    Q = compute_metric_matrix(prototypes)  # 度量矩阵
    p = compute_linear_term(query_features)

    # 求解 QP
    solver = DifferentiableQP.apply
    optimal_W = solver(Q, p, G_constraints, h_constraints)

    # 计算正则化损失
    reg_loss = torch.norm(optimal_W, p='fro')

    return classification_loss + 0.1 * reg_loss