ChatGLM3 LoRA微调实战：从零开始构建高效对话模型

1次阅读

没有评论

共计 2108 个字符，预计需要花费 6 分钟才能阅读完成。

在自然语言处理领域，微调大型预训练语言模型（如 ChatGLM3）是常见的任务适应手段。然而，传统的全参数微调方法存在两个主要问题：

计算资源消耗大 ：微调整个模型需要存储和更新所有参数，对于数十亿参数的大模型，显存需求极高
存储成本高 ：每个下游任务都需要保存完整的模型副本，当任务数量增加时，存储开销呈线性增长

当前主流的参数高效微调技术主要有三种：

Adapter：在 Transformer 层中插入小型全连接网络
优点：参数量少，易于实现
缺点：引入额外推理延迟
P-Tuning：使用可训练的连续提示向量
优点：不影响模型结构
缺点：对提示设计敏感
LoRA：通过低秩分解更新权重矩阵
优点：无推理延迟，参数效率高
缺点：需要选择适当的秩 (rank)

LoRA 的核心思想是：模型适配过程中的权重更新具有低秩特性。具体实现方式为：

$$W_{updated} = W_{original} + BA$$

其中：
– $B \in \mathbb{R}^{d \times r}$
– $A \in \mathbb{R}^{r \times k}$
– 秩 $r \ll min(d,k)$

rank(r)：决定低秩矩阵的维度，通常选择 8 /16/32
alpha：缩放因子，控制新学到的参数对原始参数的相对重要性
dropout：在 LoRA 层中加入 dropout 防止过拟合

!pip install torch transformers peft

import torch
import torch.nn as nn
from peft import LoraConfig, get_peft_model

class LoRALayer(nn.Module):
    def __init__(self, in_dim, out_dim, rank, alpha):
        super().__init__()
        self.lora_A = nn.Parameter(torch.randn(in_dim, rank))
        self.lora_B = nn.Parameter(torch.zeros(rank, out_dim))
        self.scaling = alpha / rank

    def forward(self, x):
        return x @ (self.lora_A @ self.lora_B) * self.scaling

from transformers import AutoModelForCausalLM

# 加载基础模型
model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm3-6b")

# 添加 LoRA 配置
lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["query_key_value"],
    lora_dropout=0.1,
    bias="none"
)

# 获取可训练参数占比
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    num_train_epochs=3,
    save_steps=500,
    logging_steps=100,
    learning_rate=3e-4,
    fp16=True
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset
)

trainer.train()