AI Token 详解：从基础概念到实际应用中的关键考量

1次阅读

没有评论

共计 1953 个字符，预计需要花费 5 分钟才能阅读完成。

在自然语言处理（NLP）和大语言模型（LLM）中，Token 是文本处理的最小单位。它不同于传统意义上的字符或单词：

Token 与字符 / 单词的关系 ：
英文中，一个 Token 可能是一个单词（如 “hello”）或子词（如 “unhappiness” 拆分为 “un”, “happiness”）
中文通常以字或词为 Token（如 “ 人工智能 ” 可能拆分为 “ 人工 ” + “ 智能 ”）
标点符号、空格都可能被算作独立 Token
模型间的 Token 处理差异 ：
GPT 系列使用 Byte Pair Encoding (BPE) 算法，擅长处理子词
BERT 采用 WordPiece 分词，对未登录词处理更鲁棒
不同模型的 tokenizer 词典大小不同（如 GPT-3 约 5 万个 Token）

实际开发中，Token 相关的问题往往在后期才暴露：

成本失控 ：API 按 Token 计费，但中英文混合文本的 Token 计数难以预估
上下文截断 ：当对话超过模型的最大 Token 限制（如 GPT-4 的 32k）时，早期内容会丢失
多语言陷阱 ：
中文 1 个汉字通常 =1~2 个 Token
日文 / 韩文可能 1 字符 =3+ Token
表情符号消耗更多 Token（如 “😂”=4 Tokens）

推荐使用 OpenAI 开源的 tiktoken 库：

import tiktoken

# 初始化编码器（不同模型编码器不同）enc = tiktoken.encoding_for_model("gpt-4")

text = "自然语言处理很有趣"
tokens = enc.encode(text)
print(f"Token 数量: {len(tokens)}")  # 输出：7（中文通常 1 字 =1Token）

提示词压缩 ：
用 “TLDR” 替代 “To summarize in brief”（节省 5 Tokens）
结构化提示（JSON 格式比自然语言更紧凑）
动态上下文管理 ：
优先保留最近的对话
对历史消息进行摘要而非完整保存

以下是一个完整的 Token 计算工具类：

class TokenCounter:
    """
    支持多模型的可复用 Token 计数器
    示例用法：counter = TokenCounter("gpt-3.5-turbo")
        count = counter.count("你的文本")
    """
    def __init__(self, model_name: str):
        try:
            self.encoder = tiktoken.encoding_for_model(model_name)
        except KeyError:
            # 兼容未注册的模型
            self.encoder = tiktoken.get_encoding("cl100k_base")

    def count(self, text: str) -> int:
        """返回文本的 Token 数量"""
        return len(self.encoder.encode(text))

    def estimate_cost(self, text: str, price_per_1k: float) -> float:
        """估算 API 调用成本"""
        tokens = self.count(text)
        return (tokens / 1000) * price_per_1k

性能影响 ：
Token 数量直接影响推理延迟（线性关系）
长上下文（>8k Tokens）可能导致质量下降
安全边界 ：
始终检查 max_tokens 参数（响应 Token + 输入 Token < 模型上限）

实现前置校验逻辑：

def validate_input(text: str, max_response: int, counter: TokenCounter):
    input_tokens = counter.count(text)
    if input_tokens + max_response > 8192:  # GPT-4 上限示例
        raise ValueError("输入过长，请缩短文本或减少预期响应长度")