autoglm-phone-9b模型微调训练实战：从零开始构建高效NLP模型

1次阅读

没有评论

共计 2589 个字符，预计需要花费 7 分钟才能阅读完成。

autoglm-phone-9b 是基于 GPT 架构的轻量化语言模型，专为移动端文本生成任务优化。其特点包括：

参数量 9B，在保持较高生成质量的同时降低计算开销
支持中英文混合场景下的对话生成、文本补全等任务
预训练时针对手机用户对话数据进行了领域适配

典型应用场景包括：

智能客服对话系统
输入法智能联想
社交软件自动回复

GPU：至少 16GB 显存（如 NVIDIA V100 或 A10G）
内存：建议 32GB 以上
存储：100GB 可用空间（用于存储训练数据和模型）

# 基础环境
conda create -n autoglm python=3.8
conda activate autoglm

# 核心依赖
pip install torch==1.12.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html
pip install transformers==4.25.1 datasets==2.8.0

# 可选工具
pip install wandb  # 训练可视化

训练数据应为 JSONL 格式，每条记录包含：

{"text": "用户输入文本", "label": "期望输出文本"}

import json
from transformers import AutoTokenizer

# 初始化 tokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/autoglm-phone-9b")

def process_data(raw_file, output_file):
    with open(raw_file) as f_in, open(output_file, 'w') as f_out:
        for line in f_in:
            data = json.loads(line)

            # 文本清洗
            text = data['text'].strip().replace('\r\n', ' ')
            label = data['label'].strip()

            # 长度控制
            if len(text) > 512 or len(label) > 512:
                continue

            # 转换为模型输入格式
            encoded = tokenizer(
                text=text,
                text_target=label,
                truncation=True,
                max_length=512
            )

            f_out.write(json.dumps(encoded) + '\n')

from transformers import AutoModelForSeq2SeqLM, Seq2SeqTrainingArguments, Seq2SeqTrainer

# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained("THUDM/autoglm-phone-9b")

# 训练参数配置
training_args = Seq2SeqTrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=8,
    num_train_epochs=3,
    save_steps=500,
    logging_steps=100,
    learning_rate=5e-5,
    fp16=True,
    warmup_ratio=0.1,
    gradient_accumulation_steps=2
)

# 创建 Trainer
trainer = Seq2SeqTrainer(
    model=model,
    args=training_args,
    train_dataset=processed_dataset,
    tokenizer=tokenizer
)

# 开始训练
trainer.train()

per_device_train_batch_size：根据显存调整，16GB 显存建议设为 8
gradient_accumulation_steps：模拟更大 batch size 的有效方法
fp16：开启混合精度训练可节省显存

BLEU Score：衡量生成文本与参考文本的 n -gram 匹配度
ROUGE Score：侧重召回率的评估指标
Perplexity：反映模型对测试数据的困惑程度

from datasets import load_metric

bleu = load_metric("bleu")
rouge = load_metric("rouge")

def evaluate(model, test_dataset):
    predictions = model.generate(test_dataset["input_ids"])
    decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=True)

    # 计算 BLEU
    bleu_result = bleu.compute(
        predictions=decoded_preds,
        references=[[ref] for ref in test_dataset["labels"]]
    )

    # 计算 ROUGE
    rouge_result = rouge.compute(
        predictions=decoded_preds,
        references=test_dataset["labels"]
    )