CVPR 2023 | Adapter微调实战指南：从原理到高效部署

1次阅读

没有评论

共计 1810 个字符，预计需要花费 5 分钟才能阅读完成。

在计算机视觉任务中，传统的 Full Fine-tuning 方法需要更新整个预训练模型的所有参数。以 ViT-Base 模型为例：

参数量：86M
单次训练迭代显存占用：约 16GB（batch_size=32）
完整训练周期：通常在 8 块 V100 上需要 2 - 3 天

这种方式的显存消耗主要来自两方面：

前向传播时需要存储所有中间激活值
反向传播时需要保存完整参数梯度

CVPR 2023 中提出的 Adapter 微调与其他方法的对比：

方法	新增参数量	保持原模型能力	CV 任务适配性
Full FT	100%	是	优
Adapter	0.5%-2%	是	优
LoRA	1%-3%	部分	良
P-Tuning	0.1%-0.5%	否	中

Adapter 的核心优势在于：

通过瓶颈结构 (bottleneck) 控制参数增长
保留原始模型的所有知识
天然适配视觉 Transformer 的层结构

class Adapter(nn.Module):
    """
    Args:
        dim: 输入特征维度
        reduction_ratio: 瓶颈层压缩比(默认 4)
    """
    def __init__(self, dim=768, reduction_ratio=4):
        super().__init__()
        self.down_proj = nn.Linear(dim, dim//reduction_ratio)
        self.up_proj = nn.Linear(dim//reduction_ratio, dim)
        self.act = nn.GELU()

    def forward(self, x):
        # 残差连接保持梯度流动
        return x + self.up_proj(self.act(self.down_proj(x)))

from torch.utils.checkpoint import checkpoint

class ViTWithAdapter(nn.Module):
    def forward(self, x):
        for block in self.blocks:
            # 每 4 个 block 设一个检查点
            if block_idx % 4 == 0:
                x = checkpoint(block, x)
            else:
                x = block(x)
        return x

# 初始化时指定 Adapter 参数需要同步
model = nn.DataParallel(
    model,
    device_ids=[0,1,2,3],
    output_device=0
).cuda()

# 只对 Adapter 参数进行梯度聚合
for name, param in model.named_parameters():
    if 'adapter' in name:
        param.requires_grad = True
    else:
        param.requires_grad = False

现象：loss 曲线出现剧烈波动

解决方案：
– 使用分层学习率（原始层 lr=1e-5，Adapter 层 lr=1e-4）
– 配合 warmup 策略（前 500 步线性增长）

现象：当预训练与微调分辨率不同时

解决方案：
– 在 Adapter 前添加自适应池化层
– 使用插值调整 position embedding

检查点：
1. 确认是否冻结了主干网络
2. 检查 reduction_ratio 是否过小（建议≥4）
3. 验证梯度检查点是否生效