深入解析adapter微调的初始文献：从理论到实践指南

1次阅读

共计 2136 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习领域，微调（Fine-tuning）是迁移学习中常用的技术手段。传统微调方法通过调整预训练模型的全部参数来适应新任务，但这种方法存在几个明显的问题：

计算资源消耗大 ：微调整个模型需要大量的 GPU 内存和计算时间。
灾难性遗忘 ：在新任务上微调可能导致模型遗忘预训练时学到的通用知识。
存储开销高 ：每个任务都需要保存完整的模型副本。

Adapter 微调技术由 Houlsby 等人在 2019 年的论文《Parameter-Efficient Transfer Learning for NLP》中首次提出，它通过在预训练模型中插入少量可训练的参数（adapter 模块）来解决上述问题。

与传统微调方法相比，adapter 微调具有以下优势：

参数效率高 ：仅需训练原模型参数的 3 -4%。
避免灾难性遗忘 ：冻结预训练模型的大部分参数。
模块化设计 ：可以灵活地在不同任务间共享或切换 adapter。

与其他参数高效微调方法对比：

Adapter vs LoRA：LoRA 通过低秩分解来减少参数，而 adapter 使用瓶颈结构。
Adapter vs Prefix-tuning：Prefix-tuning 在输入前添加可训练 token，而 adapter 在 Transformer 层内部插入模块。
Adapter vs BitFit：BitFit 仅微调偏置项，表达能力有限。

Adapter 模块的标准实现包含以下组件：

下投影矩阵 ：将原始特征维度 d 投影到较小的维度 r。
非线性激活 ：通常使用 ReLU 或 GELU。
上投影矩阵 ：将维度 r 投影回原始维度 d。

数学表达式为：

h ← h + f(hW_down)W_up

其中 h 是隐藏状态，W_down ∈ R^{d×r}, W_up ∈ R^{r×d}。

关键设计选择：

放置位置 ：通常在 Transformer 的 FFN 层之后。
瓶颈维度 r ：典型值为原始维度的 1 / 8 到 1 /4。
初始化 ：通常使用小的随机初始化。

import torch
import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, dim, reduction_factor=4):
        super().__init__()
        self.down_proj = nn.Linear(dim, dim // reduction_factor)
        self.up_proj = nn.Linear(dim // reduction_factor, dim)
        self.activation = nn.GELU()

    def forward(self, x):
        # 残差连接保持原始信息
        residual = x
        # 下投影
        x = self.down_proj(x)
        # 激活
        x = self.activation(x)
        # 上投影
        x = self.up_proj(x)
        # 残差连接
        return x + residual

# 集成到 Transformer 层的示例
class TransformerLayerWithAdapter(nn.Module):
    def __init__(self, original_layer, adapter_dim=64):
        super().__init__()
        self.original_layer = original_layer
        # 冻结原始参数
        for param in self.original_layer.parameters():
            param.requires_grad = False
        # 添加 adapter
        self.adapter = Adapter(original_layer.config.hidden_size, adapter_dim)

    def forward(self, x):
        x = self.original_layer(x)
        x = self.adapter(x)
        return x

在 GLUE 基准测试上的典型表现：