ChatGPT工作原理深度解析：从Transformer到RLHF的完整技术栈

1次阅读

没有评论

共计 1672 个字符，预计需要花费 5 分钟才能阅读完成。

ChatGPT 的基础是 Transformer 架构，这一架构彻底改变了传统 NLP 处理序列数据的方式。与 RNN 和 LSTM 不同，Transformer 完全依赖注意力机制来捕捉输入序列中的依赖关系。

自注意力机制是 Transformer 的核心组件，它允许模型在处理每个词时动态地关注输入序列中的其他相关词。这一机制的计算过程可以分为以下几步：

将输入词嵌入转换为查询 (Q)、键(K) 和值 (V) 向量
计算 Q 与 K 的点积，得到注意力分数
应用 softmax 归一化得到注意力权重
用注意力权重对 V 进行加权求和

这种机制使模型能够学习长距离依赖关系，而不受序列长度的限制。

由于 Transformer 没有内置的顺序处理能力，它需要显式的位置信息。位置编码通过以下公式将位置信息注入输入：

def position_encoding(pos, d_model):
    """
    pos: 位置
    d_model: 嵌入维度
    """
    angle_rates = 1 / np.power(10000, (2 * (i//2)) / np.float32(d_model))
    return pos * angle_rates

这种正弦编码使模型能够利用相对和绝对位置信息。

虽然 GPT- 3 已经展示了强大的语言生成能力，但 ChatGPT 通过 RLHF 实现了质的飞跃。

RLHF 训练分为三个阶段：

监督微调：使用人工标注数据微调预训练模型
奖励模型训练：训练一个模型来预测人类偏好的输出
强化学习优化：使用 PPO 算法优化语言模型

这种训练方式使 ChatGPT 能够生成更符合人类偏好的响应，而不仅仅是统计上可能的文本。

def scaled_dot_product_attention(Q, K, V, mask=None):
    """
    Q: 查询矩阵 [batch_size, seq_len, d_k]
    K: 键矩阵 [batch_size, seq_len, d_k]
    V: 值矩阵 [batch_size, seq_len, d_v]
    mask: 可选掩码
    """
    # 计算 QK^T/sqrt(d_k)
    matmul_qk = tf.matmul(Q, K, transpose_b=True)
    dk = tf.cast(tf.shape(K)[-1], tf.float32)
    scaled_attention_logits = matmul_qk / tf.math.sqrt(dk)

    # 应用掩码(如需要)
    if mask is not None:
        scaled_attention_logits += (mask * -1e9)

    # softmax 归一化
    attention_weights = tf.nn.softmax(scaled_attention_logits, axis=-1)

    # 输出加权和
    output = tf.matmul(attention_weights, V)
    return output, attention_weights

大模型推理延迟主要来自：