ChatGPT核心技术总结：从Transformer到RLHF的完整技术栈解析

1次阅读

共计 1978 个字符，预计需要花费 5 分钟才能阅读完成。

自然语言处理领域在 GPT- 3 出现后迎来分水岭，但大模型落地仍面临三大核心挑战：训练成本指数级增长（单次训练需数百万美元）、微调阶段人类反馈难以规模化收集、推理延迟影响用户体验。ChatGPT 通过 RLHF（Reinforcement Learning from Human Feedback/ 人类反馈强化学习）技术路线，首次实现对话质量与安全性的平衡。

假设输入序列包含 ” 猫 | 喜欢 | 追 | 尾巴 ” 四个词，每个词被编码为维度 3 的向量：

# 输入嵌入矩阵示例 (seq_len=4, dim=3)
input_embedding = torch.tensor([[0.2, 0.5, 0.3],  # 猫 
    [0.7, 0.1, 0.2],  # 喜欢
    [0.4, 0.6, 0.1],  # 追
    [0.3, 0.2, 0.8]   # 尾巴
])

自注意力计算可分为三步：

计算 Q(Query)、K(Key)、V(Value)矩阵

W_Q = torch.randn(3, 2)  # 查询权重 (dim=3, head_dim=2)
W_K = torch.randn(3, 2)  # 键权重
W_V = torch.randn(3, 2)  # 值权重
Q = input_embedding @ W_Q  # (4,2)
K = input_embedding @ W_K  # (4,2)
V = input_embedding @ W_V  # (4,2)

计算注意力分数并缩放

attn_scores = Q @ K.T / torch.sqrt(torch.tensor(2.0))  # (4,4)
# 输出示例：# [[0.35,  0.12,  0.23, -0.08],
#  [0.41,  0.09,  0.31, -0.11],
#  ... ]

Softmax 归一化后加权求和

attn_weights = F.softmax(attn_scores, dim=-1)
output = attn_weights @ V  # (4,2)

监督微调(SFT)：用人工标注的优质对话数据（约 10 万条）微调基础模型
奖励模型训练(RM)：
收集同一问题的 4 - 9 个不同回答
人工标注回答质量排序
训练 6B 参数的奖励模型（比 ChatGPT 小得多）
PPO 强化学习：
冻结奖励模型参数
使用近端策略优化 (PPO) 算法迭代更新策略
加入 KL 散度惩罚防止过度偏离原始策略

当单个 GPU 无法容纳完整模型时（如 175B 参数的 GPT-3）：

Tensor Parallelism：将单个矩阵乘法拆分到多个设备

# 原始全连接层计算
y = x @ W  # (batch, in_dim) @ (in_dim, out_dim)

# 拆分为两个设备计算
W1, W2 = split(W, dim=1)  # 沿输出维度切分
y1 = x @ W1  # 在 GPU0 计算
y2 = x @ W2  # 在 GPU1 计算
y = concat([y1, y2], dim=1)  # 合并结果

Pipeline Parallelism：按网络深度划分模型层

KV 缓存(KV Cache)：
存储历史对话的 Key/Value 矩阵
每次生成仅计算当前 token 的 Q 矩阵
显存占用从 O(n²)降至 O(n)
量化压缩：
将 FP32 权重转为 INT8
配合动态缩放因子保持精度
可减少 75% 显存占用

令牌桶算法 实现示例：

class TokenBucket:
    def __init__(self, capacity, refill_rate):
        self.capacity = capacity
        self.tokens = capacity
        self.last_refill = time.time()
        self.refill_rate = refill_rate  # tokens/sec

    def consume(self, tokens=1):
        self._refill()
        if self.tokens >= tokens:
            self.tokens -= tokens
            return True
        return False

推荐采用 有限状态机 (FSM) 模式：

stateDiagram
    [*] --> Idle
    Idle --> Processing: 收到用户输入
    Processing --> Waiting: 调用模型 API
    Waiting --> Responding: 获取完整响应
    Responding --> Idle: 完成回复
    Responding --> Processing: 用户继续追问