ChatGLM4-9B微调实战：从模型选择到生产部署全流程解析

1次阅读

共计 2025 个字符，预计需要花费 6 分钟才能阅读完成。

大语言模型微调在实际开发中常遇到三个典型问题：

显存爆炸 ：全参数微调时，ChatGLM4-9B 的 1750 亿参数需要超过 80GB 显存，远超消费级显卡容量
训练不稳定 ：直接微调容易引发灾难性遗忘（Catastrophic Forgetting），模型丢失原有知识
部署困难 ：微调后的模型体积庞大，难以在边缘设备或低成本服务器运行

微调方法	参数量占比	显存占用	训练速度	适用场景
Full Fine-tuning	100%	极高	慢	数据充足，算力无限
LoRA	0.1%-1%	低	快	中小规模领域适配
Adapter	3%-5%	中	中等	多任务持续学习
Prefix Tuning	0.5%-2%	中	中等	生成任务控制

推荐方案 ：对于 80% 的中小企业场景，LoRA 在效果和成本间达到最佳平衡

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm4-9b")

# 冻结所有基础模型参数
for param in model.parameters():
    param.requires_grad = False

低秩分解公式：
$$W’ = W + BA$$
其中 $W\in\mathbb{R}^{d\times k}$ 是原参数矩阵，$B\in\mathbb{R}^{d\times r}$, $A\in\mathbb{R}^{r\times k}$ 是可训练的低秩矩阵（通常 r =8）

import torch.nn as nn

class LoRALayer(nn.Module):
    def __init__(self, base_layer, r=8):
        super().__init__()
        self.base = base_layer
        self.lora_A = nn.Linear(base_layer.in_features, r, bias=False)
        self.lora_B = nn.Linear(r, base_layer.out_features, bias=False)

    def forward(self, x):
        return self.base(x) + self.lora_B(self.lora_A(x))

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

with autocast():
    outputs = model(inputs)
    loss = outputs.loss

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

model.gradient_checkpointing_enable()
# 可减少约 30% 显存占用

torch.onnx.export(
    model,
    dummy_input,
    "chatglm4-lora.onnx",
    opset_version=13,
    input_names=["input_ids", "attention_mask"],
    dynamic_axes={"input_ids": {0: "batch"}, "output": {0: "batch"}}
)

name: "chatglm4_lora"
backend: "onnxruntime"
max_batch_size: 8

input [{ name: "input_ids", data_type: TYPE_INT64, dims: [-1] }
]

output [{ name: "logits", data_type: TYPE_FP32, dims: [-1, 50257] }
]