AI微调实战指南：从零开始掌握模型定制化技术

1次阅读

没有评论

共计 2531 个字符，预计需要花费 7 分钟才能阅读完成。

预训练模型（如 BERT、GPT）通过海量数据学习通用特征，但在特定任务（如医疗文本分类、法律实体识别）上表现可能不佳。主要局限性包括：

领域差异：预训练语料与目标场景分布不匹配
任务差异：预训练目标（如 MLM）与下游任务（如分类）形式不同
资源浪费：直接训练小规模数据易导致过拟合

优点：充分利用模型容量，适合数据量充足的场景
缺点：显存占用高（需存储所有参数梯度），可能破坏预训练特征

在 Transformer 层间插入小型网络（如两层 MLP）
优点：仅需训练 0.5%~5% 参数，保持原始参数冻结
缺点：引入额外推理延迟（约 10%-15%）

通过低秩矩阵分解更新权重：ΔW=BA（A∈ℝ^{r×k}, B∈ℝ^{d×r}）
优点：零推理延迟，参数效率高（r 通常取 4 /8）
缺点：需手动选择目标层（通常仅处理 q / v 投影）

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

def preprocess(examples):
    return tokenizer(examples["text"], truncation=True, max_length=512)

dataset = dataset.map(preprocess, batched=True)
dataset.set_format(type='torch', columns=['input_ids', 'attention_mask', 'label'])

from transformers import AutoModelForSequenceClassification
from peft import LoraConfig, get_peft_model

model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)

lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["query", "value"],
    lora_dropout=0.1,
    bias="none"
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()  # 示例输出：trainable params: 884,736 || all params: 109,483,520

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=16,
    gradient_accumulation_steps=4,  # 模拟更大 batch size
    learning_rate=2e-5,
    warmup_ratio=0.1,
    num_train_epochs=3,
    fp16=True,  # 启用混合精度
    logging_steps=50,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
)
trainer.train()

显存控制
梯度检查点：model.gradient_checkpointing_enable() 可减少 30% 显存
混合精度：FP16 训练需注意梯度裁剪（max_grad_norm=1.0）
训练加速
使用 FlashAttention-2（需安装 optimum 库）
数据并行：单机多卡时添加--ddp_find_unused_parameters false

模型保存与加载

# 保存
model.save_pretrained("./lora_model")

# 加载
from peft import PeftModel
loaded_model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")
loaded_model = PeftModel.from_pretrained(loaded_model, "./lora_model")
loaded_model = loaded_model.merge_and_unload()  # 合并 LoRA 权重

对策：早停（early_stopping_patience=3）+ 数据增强（如 EDA）+ 标签平滑（label_smoothing_factor=0.1）

对策：
分层学习率（底层参数 lr=1e-6，顶层 lr=2e-5）
添加 KL 散度损失约束输出分布

推荐方案：
先进行领域自适应预训练（继续 MLM 任务）
再用 LoRA 微调分类头

from transformers import pipeline

classifier = pipeline("text-classification", model=loaded_model, tokenizer=tokenizer)
print(classifier("This movie is fantastic!"))
# 输出示例: [{'label': 'POSITIVE', 'score': 0.98}]

在实际项目中，建议先尝试 LoRA 等参数高效方法，当验证集指标停滞时再考虑全参数微调。关键是根据硬件条件（如 GPU 显存）和业务需求（如延迟要求）选择合适策略。后续可探索 Prompt Tuning 等更前沿技术进一步提升效果。

正文完