ChatGLM3大模型本地化部署实战：从应用到微调全流程解析

1次阅读

共计 2436 个字符，预计需要花费 7 分钟才能阅读完成。

大模型本地化部署面临三大核心挑战：

显存瓶颈：7B 参数模型全精度加载需 14GB+ 显存，消费级显卡直接 OOM
环境依赖：CUDA/cuDNN/PyTorch 版本冲突导致 80% 部署失败案例
安全风险：微调数据若包含业务敏感信息，存在模型记忆泄露隐患

实验表明，ChatGLM3-6B 在 INT4 量化下仅需 6GB 显存，较 LLaMA2-7B 降低 40% 资源占用。

模型	参数量	FP16 显存占用	INT4 显存占用	中文任务平均准确率
ChatGLM3-6B	6B	12GB	6GB	78.2%
LLaMA2-7B	7B	14GB	8GB	72.5%
Bloomz-7B	7B	14GB	7.2GB	68.9%

# 基础镜像选择官方 CUDA 镜像
FROM nvidia/cuda:11.8.0-runtime-ubuntu22.04

# 安装 Python 环境
RUN apt-get update && apt-get install -y python3.9 pip

# 设置工作目录
WORKDIR /app
COPY requirements.txt .

# 安装依赖（指定 PyTorch 版本避免冲突）RUN pip install torch==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html
RUN pip install -r requirements.txt

# 下载模型权重（需提前获取授权）ADD https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model.bin /app/models/

EXPOSE 8000
CMD ["python3", "api_server.py"]

启用 flash_attention 加速计算
设置 trust_remote_code=True 解决自定义算子问题
使用 device_map='auto' 自动分配多卡资源

from transformers import AutoTokenizer, AutoModel
import torch

# 模型加载（异常捕获 + 资源释放）try:
    tokenizer = AutoTokenizer.from_pretrained(
        "THUDM/chatglm3-6b", 
        trust_remote_code=True
    )
    model = AutoModel.from_pretrained(
        "THUDM/chatglm3-6b",
        device_map="auto",
        torch_dtype=torch.float16
    ).eval()

    # 流式推理示例
    def predict(query: str, history: list):
        inputs = tokenizer([query], return_tensors="pt").to(model.device)
        gen_kwargs = {
            "max_length": 2048,
            "do_sample": True,
            "top_p": 0.7,
            "temperature": 0.95
        }
        with torch.no_grad():
            outputs = model.generate(**inputs, **gen_kwargs)
            yield tokenizer.decode(outputs[0])

finally:
    torch.cuda.empty_cache()

数据预处理

# 格式转换脚本
import json

def convert_to_glm_format(input_file):
    with open(input_file) as f:
        data = json.load(f)

    output = []
    for item in data:
        output.append({"instruction": item["question"],
            "input": "","output": item["answer"]
        })

    with open('train.json', 'w') as f:
        json.dump(output, f, ensure_ascii=False)

微调执行命令

python finetune.py \
  --dataset_path ./train.json \
  --lora_rank 8 \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 2 \
  --save_steps 500 \
  --learning_rate 1e-4 \
  --fp16

精度	显存占用	推理速度(tokens/s)	准确率变化
FP32	12GB	42	基准
FP16	6GB	78	-0.3%
INT8	4GB	105	-1.2%
INT4	3GB	132	-2.8%

location /api/ {
    # 限流配置
    limit_req zone=model_api burst=5;

    # JWT 验证
    auth_request /validate_token;

    # 传输加密
    ssl_protocols TLSv1.2 TLSv1.3;
}

CUDA 版本冲突

# 查看当前驱动支持的 CUDA 版本
nvidia-smi | grep CUDA

# 强制指定 PyTorch 版本
pip install torch==2.0.1+cu118 --force-reinstall

早停策略实现

from transformers import EarlyStoppingCallback

trainer = Trainer(
    callbacks=[EarlyStoppingCallback(
        early_stopping_patience=3, 
        early_stopping_threshold=0.01
    )]
)

如何平衡模型规模与推理延迟？建议尝试以下实验：