ChatGLM微调实战：从数据准备到模型部署的全流程指南

1次阅读

共计 1855 个字符，预计需要花费 5 分钟才能阅读完成。

在实际进行 ChatGLM 微调时，开发者通常会遇到以下几个典型问题：

数据格式不匹配 ：ChatGLM 对输入数据格式有特定要求，而原始数据往往需要大量预处理才能使用
训练资源消耗大 ：基础模型参数规模较大，微调时显存占用高，训练时间长
部署复杂度高 ：微调后的模型体积大，推理速度慢，难以直接在生产环境使用

ChatGLM 微调需要特定格式的对话数据，通常采用 JSON 格式，结构如下：

{
  "conversations": [{"role": "user", "content": "你的问题"},
    {"role": "assistant", "content": "模型回答"}
  ]
}

数据清洗的关键步骤：

去除特殊字符和无效文本
统一问答对格式
平衡不同主题的数据分布
拆分训练集 / 验证集（建议 8:2 比例）

关键参数设置建议：

学习率 ：1e- 5 到 5e- 5 之间较为合适
批大小 ：根据显存调整，通常 8 -32
训练轮数 ：3- 5 个 epoch 足够
梯度累积 ：当显存不足时可使用

典型训练命令示例：

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./chatglm-ft",
    per_device_train_batch_size=8,
    gradient_accumulation_steps=4,
    num_train_epochs=3,
    learning_rate=3e-5,
    fp16=True,
    save_steps=500,
    logging_steps=100
)

使用 4 -bit 量化可显著减小模型体积：

from transformers import AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "./fine-tuned-model",
    torch_dtype=torch.float16,
    load_in_4bit=True,  # 启用 4 -bit 量化
    device_map="auto"
)

量化后模型体积可减小 70% 以上，推理速度提升 2 - 3 倍。

完整数据预处理代码：

import json
from tqdm import tqdm

def convert_to_chatglm_format(raw_data):
    """将原始数据转换为 ChatGLM 微调格式"""
    formatted_data = []
    for item in tqdm(raw_data):
        conversation = {
            "conversations": [{"role": "user", "content": item["question"]},
                {"role": "assistant", "content": item["answer"]}
            ]
        }
        formatted_data.append(conversation)

    # 保存处理后的数据
    with open("chatglm_ft_data.json", "w", encoding="utf-8") as f:
        json.dump(formatted_data, f, ensure_ascii=False, indent=2)

不同硬件下的训练时间对比（基于 10000 条数据）：