ChatGPT是怎么做出来的：从Transformer到RLHF的技术演进解析

1次阅读

没有评论

共计 2257 个字符，预计需要花费 6 分钟才能阅读完成。

传统对话系统通常基于规则或简单的机器学习模型，它们有以下几个主要局限性：

对话范围受限：只能处理预定义的对话流程和话题
缺乏上下文理解：难以保持长对话的连贯性
需要大量人工标注：每个意图和回应都需要人工定义

这些限制促使研究人员探索更强大的对话系统，而 ChatGPT 的出现正是为了解决这些问题。

从 GPT- 1 到 GPT-3.5，Transformer 架构经历了多次迭代：

GPT-1（2018 年）：1.17 亿参数，证明了 Transformer 在语言任务上的潜力
GPT-2（2019 年）：15 亿参数，展示了零样本学习能力
GPT-3（2020 年）：1750 亿参数，实现了强大的 few-shot 学习
GPT-3.5（2022 年）：优化后的版本，为 ChatGPT 奠定基础

这些模型都基于相同的核心架构，但通过扩大规模和改进训练方法不断提升性能。

训练如此庞大的模型面临多个挑战：

计算资源：需要数千个 GPU/TPU 的并行计算
数据质量：从互联网收集的原始数据需要仔细清洗
训练稳定性：超大模型的梯度爆炸 / 消失问题

解决方案包括：

混合精度训练：减少显存占用
梯度裁剪：防止梯度爆炸
数据并行：跨多个设备分发训练

RLHF 是 ChatGPT 区别于之前模型的关键技术，主要包括三个阶段：

监督微调（SFT）：人类标注员提供高质量对话样本，对预训练模型进行微调
奖励模型训练：人类对模型输出的多个回应进行排序，训练一个能预测人类偏好的奖励模型
强化学习微调：使用 PPO 算法，根据奖励模型的反馈优化对话模型

数据收集和处理流程：

从多个来源收集原始文本（书籍、网页、论坛等）
过滤低质量内容（垃圾信息、重复文本等）
匿名化处理（去除个人信息）
质量评分（保留高价值内容）

奖励模型需要捕捉人类的偏好，设计要点包括：

使用对比学习框架
考虑多个维度（相关性、有用性、安全性）
平衡短期和长期奖励

微调阶段的关键决策：

学习率调度：初始较大，后期逐渐衰减
批次大小：平衡训练速度和稳定性
早停机制：防止过拟合

import torch
import torch.nn as nn
from transformers import GPT2LMHeadModel

# 1. 加载预训练模型
model = GPT2LMHeadModel.from_pretrained('gpt2')

# 2. 定义奖励模型
class RewardModel(nn.Module):
    def __init__(self, base_model):
        super().__init__()
        self.base_model = base_model
        self.reward_head = nn.Linear(base_model.config.n_embd, 1)

    def forward(self, input_ids):
        outputs = self.base_model(input_ids, output_hidden_states=True)
        last_hidden = outputs.hidden_states[-1][:, -1, :]  # 取最后一个 token 的隐藏状态
        return self.reward_head(last_hidden)

# 3. 训练循环（简化版）def train_rlhf(policy_model, reward_model, dataloader, epochs=3):
    optimizer = torch.optim.Adam(policy_model.parameters(), lr=1e-5)

    for epoch in range(epochs):
        for batch in dataloader:
            # 生成回应
            outputs = policy_model.generate(batch['input_ids'], max_length=50)

            # 计算奖励
            with torch.no_grad():
                rewards = reward_model(outputs)

            # PPO 更新
            loss = -torch.mean(rewards)  # 简化版，实际使用 PPO 算法
            loss.backward()
            optimizer.step()
            optimizer.zero_grad()