ChatGLM-LoRA微调实战：从原理到高效部署的完整指南

1次阅读

共计 1744 个字符，预计需要花费 5 分钟才能阅读完成。

大模型的全参数微调（Full Fine-tuning）面临显存占用爆炸性增长的问题。以 ChatGLM-6B 为例，全参数微调需要保存模型参数、优化器状态和梯度，显存消耗往往是推理时的 3 - 4 倍。对于 6B 参数的模型，仅 FP32 训练就需要约 72GB 显存（6B4bytes3），这远超大多数开发者的硬件条件。

与传统 Fine-tuning 相比，LoRA（Low-Rank Adaptation）通过引入低秩矩阵分解，只需微调少量参数（通常 <1% 原参数）。实验数据显示：

全参数微调：需更新全部 6B 参数，显存占用约 24GB（FP16）
LoRA 微调（rank=8）：仅更新约 0.1B 参数，显存占用降至 8GB

LoRA 的核心思想是对权重更新量 ΔW 进行低秩分解：

ΔW = BA^T 
其中 B ∈ ℝ^{d×r}, A ∈ ℝ^{k×r}, r ≪ min(d,k)

秩（rank）：决定低秩矩阵的维度，通常取 4 /8/16
前向传播时：h = Wx + BA^Tx
训练时：固定原始参数 W，只更新 A / B 矩阵

在 ChatGLM 中，LoRA 通常注入以下模块：

Attention 层的 Q /K/ V 投影矩阵
FFN 层的中间维度投影
避免注入 LayerNorm 和残差连接（这些模块参数量少且敏感）

class LoRALayer(nn.Module):
    def __init__(self, in_dim, out_dim, rank=8):
        super().__init__()
        # 原始权重（冻结不更新）self.weight = nn.Parameter(torch.zeros(out_dim, in_dim), requires_grad=False)

        # LoRA 参数（低秩分解）self.lora_A = nn.Parameter(torch.randn(rank, in_dim) * 0.02)
        self.lora_B = nn.Parameter(torch.zeros(out_dim, rank))

    def forward(self, x):
        # 原始计算 + LoRA 调整
        return F.linear(x, self.weight) + F.linear(F.linear(x, self.lora_A), self.lora_B)

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(input_ids)
    loss = outputs.loss

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()