AI基础Token与上下文窗口：原理剖析与最佳实践指南

1次阅读

共计 1746 个字符，预计需要花费 5 分钟才能阅读完成。

Token 是 AI 模型处理文本时的基本单元。在不同模型中，一个 Token 可能对应：

单个字符（如字母 ”a”）
完整单词（如 ”apple”）
子词片段（如 ”un”+”happy”）

例如在 GPT 系列模型中：

# 使用 HuggingFace tokenizer 查看分词结果
from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
print(tokenizer.tokenize("ChatGPT is awesome!"))
# 输出：['Chat', 'G', 'PT', 'is', 'awesome', '!']

上下文窗口指模型单次处理的最大 Token 数量限制。这个限制直接影响：

模型能处理的文档长度
对话历史记忆能力
复杂推理任务的完成度

常见模型的窗口大小：

GPT-3：2048 tokens
Claude 2：100k tokens
LLaMA 2：4096 tokens

当输入超过窗口限制时，常见处理方式：

直接截断尾部内容（可能丢失关键信息）
丢弃中间部分内容（破坏上下文连贯性）

Token 数量与计算资源的关系：

内存占用：O(n²) 复杂度（自注意力机制）
计算时间：处理 1000 tokens 比 500 tokens 慢约 4 倍
API 成本：多数服务按 Token 数量计费

固定长度分块

def chunk_text(text, chunk_size=512):
    tokens = text.split()  # 简易空格分词
    return [' '.join(tokens[i:i+chunk_size]) 
            for i in range(0, len(tokens), chunk_size)]

语义分块（更高级）
按段落 / 句子边界分割
使用文本连贯性检测算法

摘要生成（提取式 / 抽象式）
实体识别聚焦
问题导向的文本压缩

from transformers import pipeline

def process_long_document(text, max_length=1024):
    # 初始化摘要模型
    summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

    # 分块处理
    chunks = chunk_text(text, chunk_size=512)

    # 逐块摘要
    summaries = []
    for chunk in chunks:
        if len(chunk.split()) > 100:  # 仅处理足够长的块
            summary = summarizer(chunk, max_length=130, min_length=30)
            summaries.append(summary[0]['summary_text'])

    # 合并摘要作为最终输入
    return " ".join(summaries)[:max_length]