ChatGPT是怎么做出来的：从零解析大语言模型的架构设计与训练流程

1次阅读

没有评论

共计 2379 个字符，预计需要花费 6 分钟才能阅读完成。

传统 NLP 模型（如 RNN/LSTM）像逐字写纸条的朋友，而 ChatGPT 这类大语言模型（LLM, Large Language Model）更像是拥有 ” 全局视角 ” 的作家。核心差异在于：

记忆能力 ：Transformer 架构的 Self-Attention 机制让模型能同时看到所有上下文（类似人类阅读整段文字后作答）
通用性 ：通过海量数据预训练获得语言理解泛化能力，无需为每个任务单独设计模型
交互性 ：RLHF（Reinforcement Learning from Human Feedback）训练使其能理解人类指令意图

Transformer 就像装配流水线，每个部件都有明确分工：

Self-Attention（自注意力）
计算公式：$\text{Attention}(Q,K,V)=\text{softmax}(\frac{QK^T}{\sqrt{d}})V$
实际效果：让每个词都能与其他词建立关联权重（比如 ” 苹果 ” 在 ” 吃苹果 ” 和 ” 苹果股价 ” 中关注不同上下文）
FFN（前馈网络）
结构：两层全连接层 + 激活函数（如 GELU）
作用：对 Attention 输出做非线性变换，增强模型表达能力
LayerNorm & Residual（层归一化和残差连接）
防止深度网络梯度消失的关键设计

用 PyTorch 实现最简版的 Attention（带注释）：

import torch
import math

def scaled_dot_product_attention(q, k, v, mask=None):
    """
    q: query 矩阵 [batch_size, seq_len, d_k]
    k: key 矩阵   [batch_size, seq_len, d_k]
    v: value 矩阵 [batch_size, seq_len, d_v]
    """
    d_k = q.size(-1)
    attn_scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k)  # QK^T/sqrt(d)

    if mask is not None:
        attn_scores = attn_scores.masked_fill(mask == 0, -1e9)

    attn_weights = torch.softmax(attn_scores, dim=-1)
    return torch.matmul(attn_weights, v)

# 测试示例
batch_size, seq_len, d_k = 2, 5, 64
q = torch.randn(batch_size, seq_len, d_k)
k = torch.randn(batch_size, seq_len, d_k)
v = torch.randn(batch_size, seq_len, d_k)

output = scaled_dot_product_attention(q, k, v)
print(output.shape)  # 输出: [2, 5, 64]

数据准备 ：清洗数 TB 的网页文本（Common Crawl 等）
训练目标 ：预测被遮蔽的词（MLM）或下一个词（CLM）
硬件需求 ：数千张 GPU 并行训练数周

使用人类标注的问答对精调模型：

from transformers import GPT2LMHeadModel, Trainer, TrainingArguments

model = GPT2LMHeadModel.from_pretrained("gpt2")
training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=4,
    num_train_epochs=3,
    save_steps=500
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset  # 需提前准备好的对话数据集
)
trainer.train()

关键步骤：

收集人类对模型输出的偏好排序
训练 Reward Model（奖励模型）
用 PPO 算法优化语言模型

原理：缓存历史计算的 Key/Value 矩阵，避免重复计算
效果：使生成速度提升 2 - 3 倍

from transformers import GPT2LMHeadModel

model = GPT2LMHeadModel.from_pretrained("gpt2")
quantized_model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8
)