ChatGLM-6B微调实战：从零开始构建高效对话模型

1次阅读

没有评论

共计 1646 个字符，预计需要花费 5 分钟才能阅读完成。

ChatGLM-6B 作为开源中英双语对话模型，采用 GLM（General Language Model）架构，核心特点包括：

基于 Transformer 的 FFN 层结构，参数量达 62 亿
支持最长 2048 tokens 的上下文窗口
使用 RMSNorm 替代 LayerNorm 提升训练稳定性
通过 Rotary Position Embedding 增强长文本建模能力

微调价值体现在：
1. 适应垂直领域术语和表达习惯
2. 优化对话流畅度和意图理解
3. 相比全参数训练节省 90% 以上计算资源

默认 FP32 训练需要约 24GB 显存，单卡消费级显卡难以承载。测试显示：

批量大小 = 4 时显存占用 18.2GB
批量大小 = 8 时出现 OOM 错误

常见问题包括：

混合简繁体编码
非常用标点符号（如「」『』）
网页特殊字符（等）

在小型数据集（<10 万样本）上表现明显：

验证集损失早于训练集上升
生成结果出现训练数据原文复现

采用秩分解矩阵实现参数高效微调，公式为：

h = W_0x + αBAx
# 其中：# W_0∈R^{d×k}为冻结参数
# B∈R^{d×r}, A∈R^{r×k}为可训练矩阵
# α=1/ r 缩放因子

推荐参数设置：

秩 r =8（平衡效果与效率）
α=32（适配 ChatGLM 隐层维度）
仅作用于 q_proj/v_proj 层

完整正则处理流程：

import re
def clean_text(text):
    # 转换全角字符
    text = re.sub(r'[\uff01-\uff5e]', lambda x: chr(ord(x.group(0))-0xfee0), text)
    # 去除 HTML 标签
    text = re.sub(r'<[^>]+>', '', text) 
    # 规范化引号
    text = re.sub(r'[「」『』]', '"', text)
    # 合并连续标点
    text = re.sub(r'([!?,.])\1+', r'\1', text)
    return text.strip()

PyTorch 实现核心代码：

from torch.utils.checkpoint import checkpoint

def forward_with_checkpoint(self, input_ids):
    def create_custom_forward(module):
        def custom_forward(*inputs):
            return module(*inputs)
        return custom_forward

    # 仅对 FFN 层使用检查点
    for layer in self.transformer.layers:
        input_ids = checkpoint(create_custom_forward(layer.ffn), input_ids)
    return input_ids

关键参数说明：