ChatGPT发展历史与技术演进：从GPT-1到GPT-4的架构解析

1次阅读

没有评论

共计 2998 个字符，预计需要花费 8 分钟才能阅读完成。

2018 年 6 月: GPT- 1 发布，参数量 1.17 亿，首次验证 Transformer 在生成任务的有效性（论文《Improving Language Understanding by Generative Pre-Training》）
2019 年 2 月: GPT- 2 推出，参数量 15 亿，展示 zero-shot 潜力但因伦理顾虑暂未全参数开源（论文《Language Models are Unsupervised Multitask Learners》）
2020 年 5 月: GPT- 3 问世，参数量 1750 亿，突破 few-shot 学习范式（论文《Language Models are Few-Shot Learners》）
2022 年 11 月: ChatGPT 基于 GPT-3.5 发布，引入 RLHF 技术实现对话对齐
2023 年 3 月: GPT- 4 支持多模态输入，微软透露参数量达万亿级

采用 12 层 Decoder-only Transformer：

掩码自注意力机制实现单向语言建模
预训练 + 微调两阶段模式
在 BookCorpus 数据集（约 5GB 文本）训练

关键改进：

移除任务特定微调层，验证单一模型多任务处理能力
WebText 数据集（40GB 爬取内容）提升数据多样性
层归一化位置调整到注意力模块前

显著特征：

稀疏注意力（局部注意力 + 全局注意力混合）
推理时不更新模型参数，仅通过提示工程（prompt engineering）激活能力
训练数据包含 Common Crawl、WebText2 等（约 45TB 过滤后数据）

三阶段训练流程：

监督微调（SFT）：人工标注对话数据微调 GPT-3.5
奖励建模（RM）：训练 6B 参数量的奖励预测模型
PPO 强化学习：优化策略模型输出符合人类偏好

架构变化：

视觉编码器处理图像输入（具体结构未公开）
混合专家系统（MoE）提升计算效率
输出内容安全过滤机制增强

模型	参数量	训练成本（GPU 小时）
GPT-1	117M	1,000
GPT-2	1.5B	32,000
GPT-3	175B	3.64M
GPT-4	~1T	未公开

优化手段：

梯度检查点（减少显存占用）
模型并行（Tensor/Pipeline 并行）
FP16 混合精度训练

稀疏注意力 ：将 O(n²) 复杂度降至 O(n√n)
块稀疏注意力：固定窗口局部注意力 + 全局关键 token
FlashAttention：利用 GPU 显存层次结构优化 IO 效率

数据质量过滤：重复率、内容安全、语言分布
课程学习（Curriculum Learning）：逐步增加数据复杂度
数据增强：反向翻译、语法树扰动

import torch
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model=768, n_heads=12):
        super().__init__()
        self.d_head = d_model // n_heads
        self.W_q = nn.Linear(d_model, d_model)  # 查询投影
        self.W_k = nn.Linear(d_model, d_model)  # 键投影
        self.W_v = nn.Linear(d_model, d_model)  # 值投影
        self.out = nn.Linear(d_model, d_model)  # 输出投影

    def forward(self, x, mask=None):
        # x: [batch_size, seq_len, d_model]
        Q = self.W_q(x)  # [batch_size, seq_len, d_model]
        K = self.W_k(x)
        V = self.W_v(x)

        # 分头处理
        Q = Q.view(*Q.shape[:2], self.n_heads, self.d_head).transpose(1, 2)
        K = K.view(*K.shape[:2], self.n_heads, self.d_head).transpose(1, 2)
        V = V.view(*V.shape[:2], self.n_heads, self.d_head).transpose(1, 2)

        # 注意力得分
        scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.d_head))
        if mask is not None:
            scores = scores.masked_fill(mask == 0, float('-inf'))
        attn = torch.softmax(scores, dim=-1)

        # 上下文向量
        context = torch.matmul(attn, V).transpose(1, 2).contiguous()
        context = context.view(*context.shape[:2], -1)  # 合并多头
        return self.out(context)

# 基于人类偏好数据训练奖励模型
reward_model = nn.Sequential(nn.Linear(model_dim, 256),
    nn.ReLU(),
    nn.Linear(256, 1)  # 输出标量奖励值
)

# 对比损失函数
loss_fn = nn.MarginRankingLoss(margin=1.0)

def train_step(preferred, rejected):
    r_preferred = reward_model(preferred)
    r_rejected = reward_model(rejected)

    # 正样本奖励应比负样本至少高 margin 值
    loss = loss_fn(r_preferred, r_rejected, torch.ones_like(r_preferred))
    return loss