共计 1254 个字符，预计需要花费 4 分钟才能阅读完成。

1. 背景痛点

1.1 全参数微调的挑战

大语言模型如 ChatGLM3 进行全参数微调时，通常面临以下问题：

• 显存占用高：175B 参数的模型仅训练状态就可能需要数百 GB 显存
• 计算成本昂贵：反向传播需要存储所有参数的中间状态
• 部署困难：每个下游任务需保存完整模型副本

1.2 参数高效微调方案对比

2. 技术原理

2.1 LoRA 核心思想

对 Transformer 中的权重矩阵 $W \in \mathbb{R}^{d\times k}$，通过低秩分解引入可训练参数：

$$W’ = W + BA$$

其中 $B \in \mathbb{R}^{d\times r}$, $A \in \mathbb{R}^{r\times k}$，秩 $r \ll min(d,k)$

2.2 Rank 选择策略

• 4-8：适用于简单任务（文本分类）
• 16-32：通用对话任务
• 64+：复杂推理任务

3. 代码实现

import torch
import torch.nn as nn

class LoRALayer(nn.Module):
    def __init__(self, original_layer: nn.Module, rank: int):
        super().__init__()
        self.original = original_layer
        self.original.requires_grad_(False)  # 冻结原始参数

        # 初始化低秩矩阵
        d, k = original_layer.weight.shape
        self.A = nn.Parameter(torch.randn(d, rank) * 0.02)
        self.B = nn.Parameter(torch.zeros(rank, k))

    def forward(self, x):
        orig_output = self.original(x)
        lora_output = x @ (self.A @ self.B).T  # 低秩更新
        return orig_output + lora_output

4. 性能验证

4.1 显存占用对比

4.2 不同 Rank 效果

5. 实践建议

1. 学习率设置：
2. LoRA 参数使用比原模型高 5 -10 倍的学习率

3. 推荐初始值：3e-4（LoRA）vs 5e-5（原始）

4. 梯度累积：

5. 当 batch_size 受限时，建议 4 - 8 步累积

6. 需配合 accelerate 的gradient_accumulation_steps参数

7. 混合精度：

8. A100/V100 推荐使用 bf16
9. T4 等卡建议 fp16+ 动态 loss scaling

6. 进阶方向

1. QLoRA 集成：
2. 将 4 -bit 量化与 LoRA 结合

3. 可实现 175B 模型单卡微调

4. 自定义数据测试：

5. 尝试不同领域数据（医疗 / 法律等）
6. 观察 rank 与领域复杂度的关系

注：完整实现代码见 GitHub 仓库（伪代码已展示核心逻辑）