Adapter微调方法实战：如何在不重训练的情况下高效适配LLM任务

1次阅读

共计 1815 个字符，预计需要花费 5 分钟才能阅读完成。

当我们需要将 175B 参数的 GPT- 3 适配到特定任务时，全参数微调 (Full Fine-tuning) 需要消耗 128 张 A100 显卡持续训练 2 周，仅计算资源成本就超过 10 万美元。更糟的是，每个新任务都需要独立存储完整的模型副本，这对实际业务部署提出了巨大挑战。

Full Fine-tuning
更新全部参数
存储成本：100%
GLUE 平均得分：90.2
Adapter
仅更新 0.1%-1% 参数
存储成本：0.5%
GLUE 平均得分：89.7
LoRA
更新 1%-5% 参数
存储成本：2%
GLUE 平均得分：89.5
Prefix-tuning
更新 0.5%-3% 参数
存储成本：1.5%
GLUE 平均得分：88.9

（测试环境：A100 40GB * 8，Batch Size=32）

插入位置：在每个 Transformer 层的 FFN（Feed Forward Network）后接入 Adapter 模块
瓶颈结构：采用 down-projection 到 bottleneck_dim，再 up-projection 回原维度
维度公式：bottleneck_dim = original_dim / reduction_factor（通常取 4 -16）
残差连接：保留原始 FFN 输出与 Adapter 输出的求和路径

# 基于 HuggingFace 的 Adapter 实现（带行号）1  from transformers import AutoModelForSequenceClassification
2  import torch.nn as nn
3  
4  class Adapter(nn.Module):
5      def __init__(self, dim, reduction_factor=4):
6          super().__init__()
7          self.down = nn.Linear(dim, dim//reduction_factor)
8          self.up = nn.Linear(dim//reduction_factor, dim)
9          self.activation = nn.GELU()
10     
11     def forward(self, x):
12         return self.up(self.activation(self.down(x)))
13 
14 # 在预训练模型中插入 Adapter
15 model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")
16 for layer in model.bert.encoder.layer:
17     layer.adapter = Adapter(layer.output.dense.in_features)
18     layer.forward = lambda x: layer.forward(x) + layer.adapter(x)
19 
20 # 冻结主干网络参数
21 for param in model.parameters():
22     param.requires_grad = False
23 for layer in model.bert.encoder.layer:
24     for param in layer.adapter.parameters():
25         param.requires_grad = True
26 
27 # 启用梯度检查点
28 model.gradient_checkpointing_enable()