ChatGPT原理解析：从Transformer到RLHF的完整技术栈拆解

1次阅读

共计 2444 个字符，预计需要花费 7 分钟才能阅读完成。

现代大规模语言模型的基石是 Transformer 架构，其核心创新在于自注意力机制（Self-Attention）。这种机制让模型能够动态评估输入序列中各个 token 之间的相关性权重，相比传统 RNN 具有三大优势：

并行计算能力：不再受限于序列顺序处理，可同时计算所有位置的关系
长程依赖捕获：通过注意力权重直接建模任意距离的 token 关联
可解释性：注意力矩阵可视化显示模型 ” 关注 ” 的上下文重点

实际计算过程可分为以下步骤：

# 简化的自注意力计算示例（非完整实现）import torch

def self_attention(Q, K, V, mask=None):
    """
    Q: 查询矩阵 (batch_size, seq_len, d_k)
    K: 键矩阵 (batch_size, seq_len, d_k)
    V: 值矩阵 (batch_size, seq_len, d_v)
    """
    scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(Q.size(-1)))
    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)
    attention = torch.softmax(scores, dim=-1)
    return torch.matmul(attention, V)

ChatGPT 的独特优势来自 RLHF（Reinforcement Learning from Human Feedback）训练，该过程分为三个阶段：

使用高质量对话数据对预训练模型进行微调
典型数据格式为 <prompt, response> 配对
目标是最小化负对数似然损失：$\mathcal{L}{SFT} = -\sum \log P(y_t|y, x)$

收集人类对多个回答的偏好排序数据
训练一个回归模型预测回答质量得分
使用 Bradley-Terry 模型构建损失函数：
$\mathcal{L}{RM} = -\mathbb{E} \left[\log \sigma(r\theta(x,y_w) – r_\theta(x,y_l)) \right]$

使用 PPO 算法优化策略模型
目标函数包含三个关键项：
$\mathcal{L}^{CLIP}(\theta) = \mathbb{E} \left[\min(\frac{\pi_\theta}{\pi_{old}} A_t, \text{clip}(\frac{\pi_\theta}{\pi_{old}}, 1-\epsilon, 1+\epsilon)A_t) \right]$

完整推理过程涉及多个关键组件：

graph TD
    A[用户输入] --> B(Tokenizer)
    B --> C[Token 序列]
    C --> D{是否存在对话历史?}
    D -->| 是 | E[上下文拼接]
    D -->| 否 | F[直接处理]
    E/F --> G[Transformer 前向传播]
    G --> H[Next Token 预测]
    H --> I[采样策略]
    I --> J[生成响应]

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和 tokenizer
model_name = "gpt2"  # 实际可使用更大的模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成配置
generation_config = {
    "max_length": 100,
    "temperature": 0.7,
    "top_p": 0.9,
    "do_sample": True,
    "pad_token_id": tokenizer.eos_token_id
}

# 推理过程
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs, **generation_config)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# 示例使用
print(generate_response("如何理解深度学习中的注意力机制？"))