深入解析ChatGPT底层原理：从Transformer到RLHF的技术演进

1次阅读

共计 2003 个字符，预计需要花费 6 分钟才能阅读完成。

ChatGPT 作为基于大语言模型 (Large Language Model, LLM) 的对话系统，其核心技术突破在于实现了人类意图对齐与开放域连续对话能力。相比传统 NLP 模型，该技术通过海量参数规模 (1750 亿) 与强化学习优化，显著提升了语义理解与生成连贯性。当前已推动智能客服、代码生成、内容创作等领域的范式变革。

Transformer 架构的核心组件是自注意力机制(Self-Attention)，其计算过程可分为三个关键步骤：

查询 - 键值投影 ：输入序列 $X\in\mathbb{R}^{n\times d}$ 通过权重矩阵 $W_Q,W_K,W_V$ 分别投影得到查询(Query)、键(Key)、值(Value) 矩阵
$$Q=XW_Q,\quad K=XW_K,\quad V=XW_V$$
注意力权重计算：通过缩放点积得到注意力分数矩阵后应用 Softmax 归一化
$$\text{Attention}(Q,K,V)=\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$$
多头注意力拼接：将 h 个注意力头的输出拼接后通过线性层融合
$$\text{MultiHead}=Concat(head_1,…,head_h)W_O$$

以下为 Python 伪代码实现（含 LayerNorm 和残差连接）：

def multi_head_attention(x, W_Q, W_K, W_V, W_O, h=12):
    # 投影得到 Q /K/V [batch, seq_len, d_model]
    Q = x @ W_Q  
    K = x @ W_K
    V = x @ W_V

    # 分头处理 [batch, seq_len, h, d_k]
    Q = split_heads(Q, h)  
    K = split_heads(K, h)
    V = split_heads(V, h)

    # 缩放点积注意力
    attn_scores = (Q @ K.transpose(-1,-2)) / sqrt(d_k)
    attn_weights = softmax(attn_scores)
    output = attn_weights @ V

    # 合并多头输出
    output = merge_heads(output) @ W_O

    # 残差连接与 LayerNorm
    return layer_norm(x + output)

人类反馈强化学习 (Reinforcement Learning from Human Feedback, RLHF) 包含以下阶段：

监督微调(Supervised Fine-Tuning)：使用标注数据调整预训练模型，使其输出符合人类表达习惯

奖励建模(Reward Modeling)：训练神经网络预测人类对回复质量的评分，关键代码如下：

class RewardModel(nn.Module):
    def forward(self, prompt, response):
        # 拼接输入文本
        input_ids = tokenizer.encode(prompt + response)

        # 通过预训练模型获取隐含状态
        hidden_states = transformer(input_ids).last_hidden_state

        # 计算标量奖励值
        return nn.Linear(d_model, 1)(hidden_states[:, -1])

近端策略优化(Proximal Policy Optimization, PPO)：通过策略梯度更新生成策略，最大化奖励期望值
$$\theta_{new} = \argmax_\theta \mathbb{E}[r_\phi(y|x) – \beta D_{KL}(\pi_\theta||\pi_{old})]$$