ChatGPT版本演进全解析：从GPT-3到GPT-4的技术架构与新手入门指南

1次阅读

共计 2653 个字符，预计需要花费 7 分钟才能阅读完成。

2020 年 6 月 – GPT- 3 发布
参数量 1750 亿
纯文本单模态
上下文窗口 2048 tokens
2022 年 3 月 – GPT-3.5 系列更新
code-davinci 等专项优化模型
引入 ChatML（Chat Markup Language）格式
推理成本降低 30%
2023 年 3 月 – GPT- 4 正式推出
混合专家 (MoE) 架构
多模态支持（文本 + 图像输入）
上下文扩展至 32k tokens

维度	GPT-3	GPT-3.5	GPT-4
参数量	175B	~200B	~1T(MoE)
上下文窗口	2k tokens	4k tokens	32k tokens
训练数据截止	2021 年	2021 年	2023 年
多模态支持	❌	❌	✅
API 成本	$0.02/1k	$0.015/1k	$0.06/1k

# GPT- 3 调用示例
import openai

response = openai.Completion.create(
  engine="davinci",
  prompt="请解释量子计算",
  max_tokens=100
)

# GPT- 4 调用示例（注意 object 参数变化）response = openai.ChatCompletion.create(
  model="gpt-4",
  messages=[{"role": "system", "content": "你是一位物理学教授"},
    {"role": "user", "content": "请用通俗语言解释量子纠缠"}
  ],
  temperature=0.7
)

def detect_model_capabilities(model_name: str) -> dict:
    """检测模型支持的功能特性"""
    capabilities = {
        "supports_images": False,
        "max_context": 2048
    }

    if "gpt-4" in model_name:
        capabilities.update({
            "supports_images": True,
            "max_context": 32768
        })
    elif "gpt-3.5" in model_name:
        capabilities["max_context"] = 4096

    return capabilities

专家分片：将 1 万亿参数划分为 16 个专家子网络
路由算法：基于注意力机制的门控网络（Gating Network）决定输入分配给哪些专家
动态计算：每个 token 仅激活部分专家（典型值为 2 个），大幅降低计算开销

是否需要图像理解？
是 → GPT-4
否 → 进入下一步
是否需要超长上下文？
是 → GPT-4-32k
否 → 进入下一步
是否成本敏感？
是 → GPT-3.5-turbo
否 → GPT-4

KV 缓存压缩：对 key-value 缓存进行 8:1 的智能压缩
分块注意力：将长文本分成 4k tokens 的块并行处理
内存优化：采用 FlashAttention 技术减少显存占用

[] 测试现有 prompt 在新模型的响应质量
[] 评估 token 消耗变化（推荐使用 tiktoken 库）
[] 检查 API 错误处理逻辑（特别是速率限制变更）
[] 验证对话状态保持机制
[] 更新系统角色定义（GPT- 4 对 system message 更敏感）

会话标识符 ：通过session_id 关联多轮对话
历史压缩：当对话超过窗口限制时，自动生成摘要
人工接管：设置置信度阈值，低置信度响应触发人工干预

# 对话历史压缩示例
def summarize_dialog_history(history: list) -> str:
    """使用 GPT-3.5-turbo 压缩长对话历史"""
    summary_prompt = """将以下对话压缩保留核心信息：\n{history}"""
    return openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": summary_prompt}]
    ).choices[0].message.content

与传统 prompt 相比：
– 显式区分 system/user/assistant 角色
– 支持元数据标注（如）
– 允许嵌入结构化数据（JSON/XML 片段）

示例：

<|im_start|>system
你是一位乐于助人的图书馆管理员 <|im_end|>
<|im_start|>user
请推荐科普类书籍 <|im_end|>

class GPTAdapter:
    def __init__(self, version: str = "gpt-4"):
        self.version = version

    def generate(self, prompt: str) -> str:
        if "gpt-3" in self.version:
            return self._call_legacy_api(prompt)
        else:
            return self._call_chat_api(prompt)

    def _call_chat_api(self, prompt: str) -> str:
        """统一处理 ChatCompletion 格式"""
        messages = [{"role": "user", "content": prompt}]
        response = openai.ChatCompletion.create(
            model=self.version,
            messages=messages
        )
        return response.choices[0].message.content