预训练、微调与人类对齐：大模型落地的技术演进与实践指南

1次阅读

共计 1631 个字符，预计需要花费 5 分钟才能阅读完成。

预训练阶段 ：大模型通过海量无标注数据（如 Common Crawl）学习通用语言表示，核心是自监督学习（如 BERT 的 MLM、GPT 的自回归）。2018 年后，模型规模呈指数增长，从 BERT-base 的 110M 参数到 GPT- 3 的 175B 参数，但数据质量成为瓶颈。
微调阶段 ：预训练模型通过少量标注数据适配下游任务（如文本分类）。传统全参数微调成本高，催生了参数高效微调技术（PEFT），如 2021 年提出的 LoRA（Low-Rank Adaptation）仅训练 0.1% 参数即可达到 90%+ 全微调效果。
人类对齐阶段 ：2022 年后，ChatGPT 等应用暴露出模型输出可能不符合人类价值观的问题。OpenAI 提出的 RLHF（基于人类反馈的强化学习）成为主流，但需复杂奖励模型设计。2023 年 DPO（Direct Preference Optimization）通过直接优化偏好数据简化流程。

模型性能不稳定 ：预训练数据噪声导致下游任务表现波动（如领域术语识别错误）
微调成本高 ：全参数微调需 GPU 显存与训练时长随模型规模线性增长
对齐效果不佳 ：RLHF 中奖励模型过拟合或偏见放大（如政治倾向）

数据质量 ：建议使用 CCNet 等清洗工具去除重复 / 低质文本，领域数据占比需平衡（如医疗数据不超过 15%）
架构选择 ：
编码任务：RoBERTa（移除了 BERT 的 NSP 任务）
生成任务：GPT- 3 架构 + 旋转位置编码（RoPE）

方法	参数量占比	显存占用	适用场景
LoRA	0.1%-1%	低	资源有限的中小模型
Adapter	3%-5%	中	多任务学习
P-tuning v2	0.5%-2%	低	提示微调

RLHF：需三阶段（SFT→奖励模型训练→PPO 优化），适合高精度要求
DPO：直接优化偏好对，训练速度提升 4 倍但需高质量偏好数据

# 安装依赖：pip install peft transformers
from peft import LoraConfig, get_peft_model

# 1. 加载预训练模型
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")

# 2. 添加 LoRA 配置（仅微调 query/key 矩阵）config = LoraConfig(
    r=8,  # 秩
    target_modules=["query", "key"],
    lora_alpha=16,
    lora_dropout=0.1
)
model = get_peft_model(model, config)

# 3. 训练（仅 0.1% 参数可训练）optimizer = AdamW(model.parameters(), lr=1e-4)
for batch in dataloader:
    outputs = model(**batch)
    loss = outputs.loss
    loss.backward()
    optimizer.step()