AutoDL 平台部署 Qwen7B 模型进行 LoRA 微调实战指南

1次阅读

没有评论

共计 3137 个字符，预计需要花费 8 分钟才能阅读完成。

Qwen7B 是阿里云开源的一个 70 亿参数规模的中英双语大语言模型，具有以下特点：

支持中英文混合输入
在通用 NLP 任务上表现优异
模型体积相对较小 (约 14GB)，适合在消费级 GPU 上运行

LoRA(Low-Rank Adaptation) 微调是一种高效的大模型适配技术，相比全参数微调有以下优势：

只需训练少量额外参数 (通常小于原模型的 1%)，大幅降低显存需求
训练后的模型可以通过简单合并权重文件快速部署
支持灵活切换不同适配器而无需重新加载基础模型

在 AutoDL 平台创建实例时建议选择：

GPU 型号：至少 24GB 显存（如 RTX 3090 或 A10）
镜像：选择 PyTorch 2.0+ 和 CUDA 11.7+ 的预装环境
存储：建议挂载 50GB 以上的数据盘

连接实例后首先检查 CUDA 环境：

nvidia-smi  # 确认 GPU 可用
nvcc --version  # 检查 CUDA 版本

安装必要依赖：

pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117
pip install transformers==4.33.0 peft==0.5.0 datasets accelerate

Qwen7B 的微调数据需要整理成特定格式，推荐使用 JSONL 文件格式，每条数据包含一个对话回合：

{"instruction": "解释量子计算的基本概念", "input": "","output":" 量子计算是利用量子力学原理..."}
{"instruction": "将以下句子翻译成英文", "input": "今天天气真好", "output": "The weather is nice today"}

数据处理脚本示例：

from datasets import load_dataset

dataset = load_dataset("json", data_files={"train": "train.jsonl"})

def preprocess(example):
    prompt = f"Instruction: {example['instruction']}\n"
    if example["input"]:
        prompt += f"Input: {example['input']}\n"
    prompt += "Response:"
    return {"text": prompt + example["output"]}

dataset = dataset.map(preprocess, remove_columns=["instruction", "input", "output"])

from peft import LoraConfig

lora_config = LoraConfig(
    r=8,               # 低秩矩阵的维度
    lora_alpha=32,     # 缩放系数
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],  # 要适配的注意力层
    lora_dropout=0.05, # Dropout 率
    bias="none",       # 不训练偏置参数
    task_type="CAUSAL_LM"
)

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from trl import SFTTrainer

# 加载基础模型
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen-7B",
    trust_remote_code=True,
    device_map="auto",
    torch_dtype=torch.float16
)

# 添加 LoRA 适配器
model = get_peft_model(model, lora_config)

# 训练参数配置
training_args = TrainingArguments(
    output_dir="./output",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-5,
    num_train_epochs=3,
    logging_steps=10,
    save_steps=200,
    fp16=True,
    optim="adamw_torch",
    report_to="none"
)

# 创建训练器
trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    max_seq_length=1024,
    tokenizer=tokenizer,
    packing=True
)

# 开始训练
trainer.train()

# 保存适配器
model.save_pretrained("qwen7b-lora-adapter")

基础模型加载：约 14GB (FP16)
LoRA 参数：约 50MB (r= 8 时)
每个样本显存：约 2GB (序列长度 1024)

混合精度训练：

training_args.fp16 = True  # 启用 FP16

梯度累积：

training_args.gradient_accumulation_steps = 4  # 累计 4 个 batch 更新一次

梯度检查点：
```
model.gradient_checkpointing_enable()
```

OOM 错误 ：
降低 batch_size
启用梯度检查点
减少序列长度
NaN 损失 ：
尝试更小的学习率 (如 1e-5)
检查数据中是否有异常值
使用梯度裁剪
```
training_args.max_grad_norm = 1.0
```
LoRA 适配器不生效 ：
确认 target_modules 设置正确
检查模型是否处于训练模式
```
model.train()
```

加载微调后的模型进行推理：

from peft import PeftModel

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen-7B",
    device_map="auto",
    torch_dtype=torch.float16
)

# 加载 LoRA 适配器
model = PeftModel.from_pretrained(base_model, "qwen7b-lora-adapter")

# 合并权重 (可选)
model = model.merge_and_unload()

# 生成文本
inputs = tokenizer("Instruction: 解释 AI 原理 \nResponse:", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

通过本文的步骤，你应该已经成功在 AutoDL 平台上完成了 Qwen7B 的 LoRA 微调。建议尝试以下扩展实验：