AI中Token的高效使用：从原理到最佳实践

1次阅读

共计 2103 个字符，预计需要花费 6 分钟才能阅读完成。

Token 是 AI 模型处理文本的基本单位。无论是输入还是输出，模型都需要先将文本拆分成 Token，再转换为模型能理解的数字表示（Token ID）。不同的模型有不同的分词方式，比如 GPT 系列使用 Byte Pair Encoding（BPE），而 BERT 使用 WordPiece。理解 Token 的工作原理对优化 AI 应用至关重要。

计算成本 ：模型的计算量通常与 Token 数量成正比，更多的 Token 意味着更高的计算成本和更长的响应时间。
上下文窗口 ：大多数模型对 Token 数量有上限限制（如 GPT- 3 的 4096 个 Token），超出部分会被截断。
语义理解 ：合理的 Token 拆分能帮助模型更好地理解文本语义，尤其是在处理专业术语或多语言内容时。

在实际应用中，开发者常遇到以下问题：

成本过高 ：按 Token 计费的 API（如 OpenAI）在长文本场景下费用飙升。
效率低下 ：未优化的 Token 处理导致请求延迟增加，影响用户体验。
信息截断 ：超出上下文窗口的文本被截断，丢失关键信息。
分词不一致 ：同一词汇在不同场景下被拆分成不同 Token，影响结果稳定性。

对于长文本，合理的分块能平衡上下文长度与计算开销：

按固定 Token 数分块：确保每块不超过模型上限（如 4000 Token）。
按语义分块：利用句子或段落边界，避免拆分完整语义单元。
重叠分块：相邻块保留少量重叠 Token，维持上下文连贯性。

结果缓存 ：对重复查询（如常见问题）缓存模型输出。
Embedding 缓存 ：存储文本的向量表示，避免重复计算。

自适应 Token 预算 ：根据查询复杂度动态分配 Token（简单问题用更短的上下文）。
关键信息优先 ：通过摘要或提取技术优先保留核心内容。

import tiktoken
from functools import lru_cache

# 初始化分词器（以 GPT- 4 为例）encoder = tiktoken.get_encoding("cl100k_base")

@lru_cache(maxsize=1000)
def count_tokens(text: str) -> int:
    """缓存 Token 计数结果，避免重复计算"""
    return len(encoder.encode(text))

def smart_chunking(text: str, max_tokens: int = 4000) -> list[str]:
    """
    智能分块策略：1. 优先在段落边界分割
    2. 确保每块不超过 max_tokens
    3. 保留 10% 的重叠 Token
    """paragraphs = text.split('\n\n')
    chunks = []
    current_chunk = []
    current_count = 0

    for para in paragraphs:
        para_token_count = count_tokens(para)

        # 如果当前块加入新段落后超限
        if current_count + para_token_count > max_tokens:
            if current_chunk:  # 提交当前块
                chunks.append('\n\n'.join(current_chunk))

                # 保留 10% 内容作为重叠
                overlap = max(int(max_tokens * 0.1), 1)
                current_chunk = [chunks[-1][-overlap:]] 
                current_count = count_tokens(current_chunk[0])

        current_chunk.append(para)
        current_count += para_token_count

    if current_chunk:
        chunks.append('\n\n'.join(current_chunk))

    return chunks

我们对 10 万字符的技术文档进行测试：