从零开始理解GPT与ChatGPT：开发者入门指南与核心概念解析

1次阅读

共计 2251 个字符，预计需要花费 6 分钟才能阅读完成。

GPT（Generative Pre-trained Transformer）是 OpenAI 推出的系列预训练语言模型，而 ChatGPT 是 GPT 系列中专为对话场景优化的分支。两者的核心区别在于：

GPT：通用文本生成模型，通过海量文本预训练掌握语言规律
ChatGPT：在 GPT 基础上通过 RLHF（基于人类反馈的强化学习）优化对话能力，具有更强的指令跟随和上下文理解能力

这是 Transformer 的核心组件，其计算过程可简化为：

# 伪代码示例
Q = query @ W_Q  # 查询向量
K = key @ W_K    # 键向量
V = value @ W_V  # 值向量

attention = softmax(Q @ K.T / sqrt(d_k)) @ V

允许模型动态关注输入的不同部分
并行计算效率远高于 RNN 的序列处理

典型工作流程分为三个阶段：

Tokenization：将文本分割为子词单元（如 ”unhappiness”→[“un”, “happiness”]）
Positional Encoding：添加位置信息（公式：PE(pos,2i)=sin(pos/10000^(2i/d_model))）
Decoding：自回归生成文本（每次预测下一个 token）

特性	GPT-3	ChatGPT
训练目标	语言建模	对话优化 + 安全过滤
数据来源	纯文本语料	人类对话数据 + 反馈
输出风格	开放性生成	指令遵循型回复

# 安装必要库
pip install openai tiktoken

# 配置 API 密钥
import openai
openai.api_key = "your-api-key"  # 从环境变量读取更安全

import openai
from typing import List, Dict

class ChatBot:
    def __init__(self, system_prompt: str = "你是有用的 AI 助手"):
        self.messages: List[Dict] = [{"role": "system", "content": system_prompt}]

    def chat(self, user_input: str, max_tokens: int = 150) -> str:
        self.messages.append({"role": "user", "content": user_input})

        try:
            response = openai.ChatCompletion.create(
                model="gpt-3.5-turbo",
                messages=self.messages,
                max_tokens=max_tokens,
                temperature=0.7
            )
            reply = response.choices[0].message.content
            self.messages.append({"role": "assistant", "content": reply})
            return reply

        except openai.error.RateLimitError:
            return "请求过于频繁，请稍后再试"
        except Exception as e:
            return f"API 错误: {str(e)}"

# 使用示例
bot = ChatBot()
print(bot.chat("Python 如何实现快速排序？"))

策略 1：使用 tiktoken 库计算 token 数量

import tiktoken
enc = tiktoken.encoding_for_model("gpt-3.5-turbo")
tokens = enc.encode("你的文本")
print(len(tokens))  # 检查是否超限

策略 2：自动截断历史对话

def trim_messages(messages: List[Dict], max_tokens: int = 3000):
    while sum(len(m["content"]) for m in messages) > max_tokens:
        messages.pop(1)  # 保留 system 提示，删除最早的用户消息

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=messages,
    stream=True  # 启用流式
)

for chunk in response:
    content = chunk.choices[0].delta.get("content", "")
    print(content, end="", flush=True)