ChatGPT在线微调训练实战：如何高效定制你的AI助手

1次阅读

没有评论

共计 2127 个字符，预计需要花费 6 分钟才能阅读完成。

最近在项目中尝试用 ChatGPT 做在线微调时，发现几个让人头疼的问题：

数据处理效率低 ：当语料达到 GB 级别时，传统的 pandas 处理方式内存占用飙升
模型收敛不稳定 ：同样的学习率设置，在不同数据分布下效果差异巨大
训练成本高 ：GPU 资源消耗与微调效果不成正比
灾难性遗忘 ：微调后模型丢失了原有的通用对话能力

我们对比了三种主流微调方式：

全参数微调
优点：效果最好
缺点：需要存储完整模型副本，显存占用高
LoRA（低秩适配）
优点：仅训练新增的小型矩阵，节省 70% 显存
缺点：需要手动设置 rank 参数
Adapter 微调
优点：模块化设计，便于热插拔
缺点：在长文本任务上表现较弱

经过实测，对于在线场景推荐使用 LoRA 方案。

import datasets
from transformers import AutoTokenizer

# 使用 HF datasets 库实现流式加载
def process_data(file_path):
    ds = datasets.load_dataset('json', data_files=file_path, streaming=True)

    tokenizer = AutoTokenizer.from_pretrained("gpt-3.5-turbo")

    def tokenize_fn(examples):
        # 动态 padding 到模型最大长度
        return tokenizer(examples["text"], 
                        truncation=True,
                        max_length=2048,
                        return_overflowing_tokens=True)

    return ds.map(tokenize_fn, batched=True, batch_size=1000)

from torch.utils.data import DataLoader

def collate_fn(batch):
    # 自动寻找当前 batch 的最大长度
    max_len = max(len(item['input_ids']) for item in batch)

    # 动态 padding
    padded_batch = {
        'input_ids': [item['input_ids'] + [tokenizer.pad_token_id] * (max_len - len(item['input_ids']))
            for item in batch
        ],
        'attention_mask': [[1]*len(item['input_ids']) + [0]*(max_len - len(item['input_ids']))
            for item in batch
        ]
    }
    return padded_batch

loader = DataLoader(dataset, batch_size=8, collate_fn=collate_fn)

推荐使用余弦退火配合 warmup：

from transformers import get_cosine_schedule_with_warmup

optimizer = AdamW(model.parameters(), lr=5e-5)
scheduler = get_cosine_schedule_with_warmup(
    optimizer,
    num_warmup_steps=500,
    num_training_steps=10000
)

通过梯度累积模拟大 batch：

gradient_accumulation_steps = 4

for step, batch in enumerate(loader):
    outputs = model(**batch)
    loss = outputs.loss / gradient_accumulation_steps
    loss.backward()

    if (step+1) % gradient_accumulation_steps == 0:
        optimizer.step()
        scheduler.step()
        optimizer.zero_grad()

OOM 问题
现象：训练突然中断报 CUDA out of memory
解决：
- 开启 gradient checkpointing
- 使用 torch.cuda.empty_cache()
NaN 损失
现象：loss 突然变成 NaN
解决：
- 添加梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
- 检查数据中的特殊字符
过拟合
现象：训练集 loss 持续下降但验证集上升
解决：
- 早停机制
- 增加 Dropout 层