ChatGLM3-6B微调实战：从模型适配到生产部署的完整解决方案

1次阅读

共计 1631 个字符，预计需要花费 5 分钟才能阅读完成。

ChatGLM3-6B 作为通用大模型，在垂直领域应用时常遇到两个核心问题：

知识盲区 ：医疗、法律等专业领域术语和逻辑未被预训练覆盖
风格错配 ：客服场景需要简洁响应，而基础模型倾向生成冗长内容

我们测试发现，直接使用原始模型在金融 QA 任务中准确率不足 45%，且 30% 的回复包含无关信息。

Full Fine-tuning
优点：效果最好
缺点：需要 80G+ 显存，训练成本高
P-Tuning v2
显存占用：约 18G
效果：比 LoRA 差 5 - 8 个点
LoRA（推荐方案）
显存需求：24G（含梯度）
效果：可达 Full Fine-tuning 的 90%
可插拔特性方便多任务切换

def process_data(raw_text):
    # 去除特殊字符
    text = re.sub(r'[\u3000\xff1b\uff0c]', '', raw_text) 
    # 对话数据格式转换
    return {
        'instruction': '请回答金融相关问题',
        'input': text[:256],  # 控制输入长度
        'output': labeled_answer  # 人工标注结果
    }

from peft import LoraConfig

lora_config = LoraConfig(
    r=8,              # Rank 维度
    lora_alpha=32,    # 缩放系数
    target_modules=['query_key_value'],  # 注意力层
    lora_dropout=0.1,
    bias="none"
)

trainer = Trainer(
    model=model,
    args=TrainingArguments(
        per_device_train_batch_size=4,
        gradient_accumulation_steps=8,  # 模拟 batch_size=32
        fp16=True,                     # 混合精度
        warmup_steps=500,
        learning_rate=3e-4
    )
)

梯度检查点 ：
```
model.gradient_checkpointing_enable()
```

Offload 技术 ：

accelerator = Accelerator(cpu_offload=True)

序列分块 ：将长文本切分为 256token 的片段

当验证集 F1 波动超过±5% 时：
降低学习率（建议 2e-5 → 1e-5）
增加 LoRA dropout（0.1 → 0.3）
检查数据清洗是否漏掉噪声样本

# 合并 LoRA 权重
merged_model = model.merge_and_unload()

# 4-bit 量化
from transformers import BitsAndBytesConfig
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True
)

from fastapi import FastAPI
app = FastAPI()

@app.post("/chat")
async def predict(text: str):
    inputs = tokenizer(text, return_tensors="pt").to('cuda')
    outputs = model.generate(**inputs, max_new_tokens=100)
    return {"response": tokenizer.decode(outputs[0])}