ChatGLM4-9B微调实战：从数据准备到模型部署的全流程指南

1次阅读

共计 1877 个字符，预计需要花费 5 分钟才能阅读完成。

大模型微调在实际应用中常面临三大挑战：

数据质量敏感 ：微调效果高度依赖数据质量，但清洗和标注成本高
资源消耗大 ：基础模型参数量大，训练显存占用高，单卡难以承载
训练不稳定 ：容易出现梯度爆炸、过拟合等问题，调参难度大

数据清洗 ：
去除 HTML 标签、特殊字符
过滤低质量文本（如过短 / 重复内容）
使用正则表达式规范化格式

格式转换 ：

# 转换为标准对话格式示例
def convert_to_chat_format(record):
    return {
        "conversations": [{"role": "user", "content": record["question"]},
            {"role": "assistant", "content": record["answer"]}
        ]
    }

数据增强 ：
同义词替换（使用 TF-IDF 选取关键词）
回译增强（中英互译）
上下文截断与重组

采用 QLoRA 技术显著降低显存消耗：

参数配置 ：
LoRA rank 设为 64
仅对 query/key/value 矩阵应用适配器
使用 8 -bit 量化基础模型

关键实现 ：

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=64,
    target_modules=["query_key_value"],
    lora_alpha=32,
    lora_dropout=0.05
)
model = get_peft_model(model, lora_config)

使用 Deepspeed Zero- 3 优化多 GPU 训练：

配置文件 （ds_config.json）：

{
    "train_batch_size": "auto",
    "optimizer": {"type": "AdamW"},
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {"device": "cpu"}
    }
}

启动命令 ：

deepspeed --num_gpus=4 run_train.py --deepspeed ds_config.json

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    learning_rate=1e-4,
    fp16=True,
    logging_steps=50,
    save_steps=1000,
    deepspeed="ds_config.json"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset
)

trainer.train()

动态量化 ：

from torch.quantization import quantize_dynamic
model = quantize_dynamic(model, {nn.Linear}, dtype=torch.qint8)

TensorRT 优化 ：
构建 FP16 引擎
设置最优 batch size
启用 layer fusion

使用 FastAPI 构建推理服务：

from fastapi import FastAPI
app = FastAPI()

@app.post("/predict")
async def predict(input: dict):
    inputs = tokenizer(input["text"], return_tensors="pt").to(device)
    outputs = model.generate(**inputs)
    return {"result": tokenizer.decode(outputs[0])}