ChatGPT原理解析：从Transformer到RLHF的技术演进

1次阅读

共计 1369 个字符，预计需要花费 4 分钟才能阅读完成。

ChatGPT 的核心基础是 Transformer 架构，这是 2017 年由 Google 提出的革命性模型。与传统的 RNN 和 LSTM 不同，Transformer 完全依赖自注意力机制（Self-Attention）来处理序列数据。

自注意力机制工作原理：
输入文本首先被 token 化为词向量
每个 token 生成 Query、Key、Value 三个矩阵
通过计算 Query 与所有 Key 的点积得到注意力权重
加权求和 Value 矩阵得到最终输出

# 简化版自注意力实现
def self_attention(Q, K, V):
    d_k = Q.size(-1)
    scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k)
    weights = F.softmax(scores, dim=-1)
    return torch.matmul(weights, V)

多头注意力优势：
并行多个注意力头可以捕获不同维度的语义关系
典型配置：12-128 个注意力头，每个头 64 维

使用人工标注的高质量对话数据
标准语言模型训练目标：预测下一个 token
典型训练规模：1 万 -10 万组对话样本

数据准备：
同一 prompt 生成 4 - 9 个不同响应
人工标注响应质量排序
模型结构：
基于 SFT 模型添加分类头
输出为标量奖励值

# 奖励模型损失函数示例
loss = -torch.log(torch.sigmoid(reward_good - reward_bad)).mean()

近端策略优化 (PPO) 是 RLHF 的核心算法，主要创新包括：

重要性采样裁剪：
限制策略更新幅度
超参数 ε 通常设为 0.1-0.2
优势函数计算：
GAE(Generalized Advantage Estimation)
λ 参数控制偏差 - 方差权衡

# PPO 核心更新逻辑
ratio = (new_logprob - old_logprob).exp()
surr1 = ratio * advantage
surr2 = torch.clamp(ratio, 1-eps, 1+eps) * advantage
policy_loss = -torch.min(surr1, surr2).mean()