ChatGPT工作原理简述：从Transformer到RLHF的完整技术解析

1次阅读

没有评论

共计 1988 个字符，预计需要花费 5 分钟才能阅读完成。

作为开发者，当我们尝试在实际项目中应用大语言模型（LLM, Large Language Model）时，常常会遇到一些困惑：

为什么同样的模型规模，ChatGPT 的表现比 GPT- 3 更加 ” 人性化 ”？
如何根据业务需求选择合适的预训练模型？
为什么模型有时会生成重复或无意义的内容？
如何优化推理速度以降低 API 延迟？

理解 ChatGPT 的工作原理，能帮助我们更好地解决这些问题。本文将从技术角度，解析 ChatGPT 的核心架构和训练流程。

ChatGPT 的核心是 Transformer 架构，其中最关键的是自注意力机制（Self-Attention）。简单来说，自注意力让模型能够动态地权衡输入序列中不同位置的重要性。

自注意力的计算过程可以表示为：

Q = W_q * X  # 查询矩阵
K = W_k * X  # 键矩阵
V = W_v * X  # 值矩阵

attention_scores = softmax(Q * K.T / sqrt(d_k))  # d_k 是 key 的维度
output = attention_scores * V

这种机制使得模型能够捕获长距离依赖关系，而不像 RNN 那样受限于序列长度。

虽然都基于 Transformer，但 ChatGPT 与 GPT- 3 有几个关键区别：

训练流程：GPT- 3 仅通过大规模无监督学习，而 ChatGPT 增加了 RLHF（Reinforcement Learning from Human Feedback）阶段
交互能力：ChatGPT 针对对话场景优化，能更好地理解上下文和用户意图
安全性：通过 RLHF 减少了有害内容生成

def tokenize(text):
    # 1. 文本规范化（去除多余空格、统一标点等）normalized_text = normalize(text)

    # 2. 应用 BPE（Byte Pair Encoding）算法进行子词分割
    tokens = []
    for word in normalized_text.split():
        if word in vocab:
            tokens.append(word)
        else:
            # 处理 OOV 词（Out-Of-Vocabulary）subwords = byte_pair_encode(word)
            tokens.extend(subwords)

    # 3. 添加特殊 token（如[CLS], [SEP]）tokens = ["[CLS]"] + tokens + ["[SEP]"]

    return tokens

import torch
import torch.nn.functional as F

def attention(query, key, value, mask=None):
    """
    query: [batch_size, num_heads, seq_len, dim]
    key/value: [batch_size, num_heads, seq_len, dim]
    mask: [batch_size, 1, 1, seq_len] (防止看到未来 token)
    """
    d_k = query.size(-1)
    scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k)

    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)

    p_attn = F.softmax(scores, dim=-1)
    return torch.matmul(p_attn, value)

在实际部署中，显存占用是关键瓶颈。KV 缓存（Key-Value Cache）是常用优化手段：