ChatGPT模型架构解析：从Transformer到RLHF的全链路实现

1次阅读

共计 2657 个字符，预计需要花费 7 分钟才能阅读完成。

ChatGPT 的出现标志着 NLP 领域的重要里程碑：它首次实现了人类水平的开放域对话能力，通过 RLHF 技术将大语言模型与人类价值观对齐，并证明了千亿参数模型在通用任务上的强大涌现能力。下面我们从架构基础到工程实践逐步拆解其实现原理。

缩放点积注意力（Scaled Dot-Product Attention）是 Transformer 的核心计算单元，其公式为：

$$\text{Attention}(Q,K,V)=\text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$$

实际实现时采用多头机制（Multi-Head），将查询（Query）、键（Key）、值（Value）投影到不同子空间并行计算：

# PyTorch 实现示例
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.d_k = d_model // num_heads
        self.num_heads = num_heads
        self.q_linear = nn.Linear(d_model, d_model)
        self.k_linear = nn.Linear(d_model, d_model)
        self.v_linear = nn.Linear(d_model, d_model)
        self.out_linear = nn.Linear(d_model, d_model)

    def forward(self, q, k, v, mask=None):
        # 线性变换并分头 [batch_size, seq_len, d_model] -> [batch_size, num_heads, seq_len, d_k]
        q = self.q_linear(q).view(q.size(0), -1, self.num_heads, self.d_k).transpose(1,2)
        k = self.k_linear(k).view(k.size(0), -1, self.num_heads, self.d_k).transpose(1,2)
        v = self.v_linear(v).view(v.size(0), -1, self.num_heads, self.d_k).transpose(1,2)

        # 计算注意力分数
        scores = torch.matmul(q, k.transpose(-2,-1)) / math.sqrt(self.d_k)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attn_weights = torch.softmax(scores, dim=-1)

        # 加权求和并合并多头
        output = torch.matmul(attn_weights, v)
        output = output.transpose(1,2).contiguous().view(output.size(0), -1, self.d_model)
        return self.out_linear(output)

由于 Transformer 不包含循环结构，需要通过位置编码注入序列顺序信息。ChatGPT 使用正弦余弦函数的固定编码方案：

$$PE_{(pos,2i)} = \sin(pos/10000^{2i/d_{model}}})$$
$$PE_{(pos,2i+1)} = \cos(pos/10000^{2i/d_{model}}})$$

使用人工标注的高质量对话数据
标准语言模型目标（Next Token Prediction）
典型 batch_size 为 32-64，学习率 5e-6

技术选择	优点	缺点
Pairwise Ranking	训练稳定	需要大量对比数据
Pointwise Scoring	数据利用率高	评分一致性难保证

关键超参数配置：

KL 散度系数：0.1-0.2
奖励缩放因子：0.01-0.1
每次迭代采样 4 - 8 个响应

自回归生成时缓存历史 K、V 张量，避免重复计算：

past_key_values = None
for _ in range(max_length):
    outputs = model(input_ids, past_key_values=past_key_values)
    past_key_values = outputs.past_key_values
    next_token = sample(outputs.logits)
    input_ids = torch.cat([input_ids, next_token], dim=-1)

采用内存高效注意力计算，提升 3 - 5 倍吞吐量：

from flash_attn import flash_attention

def scaled_dot_product_attention(q, k, v, mask=None):
    return flash_attention(q, k, v, softmax_scale=1/math.sqrt(d_k), dropout_p=0.1)