共计 2011 个字符，预计需要花费 6 分钟才能阅读完成。
1. 背景与痛点
ChatGLM2-6B 作为开源大语言模型，在通用任务上表现出色，但直接应用于垂直领域时效果有限。开发者常面临以下挑战：
- 数据质量要求高 ：微调需要领域相关的优质数据，但标注成本高且数据清洗复杂
- 训练效率低下 ：全参数微调显存占用大，普通显卡无法承载
- 部署门槛高 ：微调后的模型需考虑推理延迟、硬件兼容性等问题
- 效果评估困难 ：缺乏针对垂直领域的标准化评估方法
2. 技术选型对比
2.1 全参数微调
- 优点：效果最好，模型完全适配新领域
- 缺点：需要完整加载模型参数，显存要求高（至少需要 4 *A100 80G）
2.2 LoRA 微调
- 优点：仅训练低秩矩阵，显存占用减少 50% 以上
- 缺点：需要调整秩大小等超参数，可能影响效果
2.3 P-Tuning v2
- 优点：参数效率最高，适合小样本场景
- 缺点：需要设计 prompt 模板，调参复杂度高
推荐选择：对于大多数场景，LoRA 在效果和资源消耗间取得较好平衡
3. 核心实现（LoRA 示例）
3.1 数据预处理
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
def process_data(texts, max_length=512):
# 构建对话格式
formatted = [f"[Round 1]\n 问：{q}\n 答：{a}" for q,a in texts]
# 分词处理
return tokenizer(formatted, truncation=True, max_length=max_length, padding='max_length')3.2 模型训练（PyTorch Lightning 示例）
import torch
from peft import LoraConfig, get_peft_model
# 1. 加载基础模型
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
# 2. 添加 LoRA 配置
lora_config = LoraConfig(
r=8, # 秩大小
target_modules=["query_key_value"], # 关键修改点
lora_alpha=32,
lora_dropout=0.1
)
model = get_peft_model(model, lora_config)
# 3. 训练配置（精简版）trainer = pl.Trainer(
devices=1,
accelerator="gpu",
max_epochs=3,
precision="bf16" # A100 建议开启
)3.3 效果评估
建议构建三个测试集：
- 领域知识测试 ：验证专业术语理解能力
- 任务完成度测试 ：检查指令跟随准确性
- 安全测试 ：确保不产生有害内容
4. 性能优化技巧
4.1 训练加速
- 使用梯度检查点：
model.gradient_checkpointing_enable() - 混合精度训练：
precision="16-mixed" - 数据并行：当显存不足时采用 DDP 策略
4.2 推理优化
- 量化部署：4bit 量化可减少 75% 显存占用
from auto_gptq import quantize_model quantize_model(model, bits=4, device="cuda:0") - 使用 vLLM 推理框架：支持连续批处理（continuous batching）
5. 生产部署方案
5.1 服务化部署
推荐使用 FastAPI 构建推理服务：
from fastapi import FastAPI
app = FastAPI()
@app.post("/chat")
async def chat_endpoint(request: dict):
response, _ = model.chat(tokenizer, request["query"])
return {"response": response}5.2 监控指标
必须监控的核心指标：
- QPS（每秒查询数）
- P99 延迟
- GPU 利用率
- 错误率
6. 避坑指南
6.1 常见问题
- 显存不足 ：尝试 LoRA+ 梯度检查点 +8bit 量化组合方案
- 过拟合 ：早停法（early stopping）+ 增加 dropout
- 中文乱码 ：确保数据保存为 UTF- 8 格式
6.2 效果调优
- 调整 LoRA 的 rank 大小（建议从 8 开始尝试）
- 修改学习率（推荐 3e- 5 到 5e- 4 之间）
- 增加对话轮次模拟数据
实践建议
建议从医疗问答、法律咨询等垂直领域的小样本（500-1000 条）开始尝试。微调完成后，可以通过 Hugging Face Hub 分享你的适配模型：
model.push_to_hub("your-username/chatglm2-6b-lora-med")期待看到大家在各自领域的微调成果！遇到问题时，可以参考官方 GitHub 的 issues 区，很多常见问题已有解决方案。
正文完
