ChatGLM-6B微调实战：从数据准备到模型部署的全流程指南

1次阅读

共计 1463 个字符，预计需要花费 4 分钟才能阅读完成。

ChatGLM-6B 是基于 GLM 架构的中英双语对话模型，具有 62 亿参数。其核心特点是采用 Prefix-LM（前缀语言模型）结构，在自回归生成过程中支持双向注意力机制。微调原理是通过在特定领域数据上继续训练，使模型适应下游任务（如客服问答、内容生成等）。

数据处理复杂度高：对话数据需要特殊格式转换，多轮对话的上下文拼接容易出错
训练资源消耗大：全参数微调需要至少 24GB 显存，普通设备难以承受
生产部署困难：原生 FP32 模型推理速度慢，依赖项与现有服务易冲突

# 转换对话数据为模型输入格式
def convert_chat_to_prompt(samples):
    prompt = "[Round 1]\n"
    for i, (q, a) in enumerate(zip(samples['questions'], samples['answers'])):
        prompt += f"问：{q}\n 答：{a}\n"
        if i != len(samples['questions'])-1:
            prompt += f"[Round {i+2}]\n"
    return {"text": prompt}

# 使用 HuggingFace datasets 库构建管道
from datasets import load_dataset
ds = load_dataset('json', data_files='chat_data.json')
ds = ds.map(convert_chat_to_prompt, batched=True)

采用 DeepSpeed Zero- 3 策略可降低显存占用：

# ds_config.json 配置片段
{
  "train_batch_size": 8,
  "gradient_accumulation_steps": 4,
  "optimizer": {
    "type": "AdamW",
    "params": {"lr": 5e-5}
  },
  "zero_optimization": {
    "stage": 3,
    "offload_optimizer": {"device": "cpu"}
  }
}

使用 AutoGPTQ 进行 4bit 量化：

from auto_gptq import AutoGPTQForCausalLM
model = AutoGPTQForCausalLM.from_pretrained("THUDM/chatglm-6b", 
                                           trust_remote_code=True,
                                           quantize_config="4bit")
model.save_quantized("./chatglm-6b-4bit")