1百万token到底对应多少文本？从编码原理到实际计算详解

1次阅读

没有评论

共计 1277 个字符，预计需要花费 4 分钟才能阅读完成。

在自然语言处理和大模型应用中，token 与字符数的换算关系常常让开发者感到困惑。本文将从底层原理出发，结合实际案例，详细解析 1 百万 token 对应的文本量计算方法。

很多开发者在调用大模型 API 时，经常遇到成本预估困难的问题。由于 token 计算不透明，很难准确预估一段文本会消耗多少 token，进而无法精确计算 API 调用成本。这在实际项目中可能导致预算超支或资源浪费。

ASCII 编码：每个字符固定占用 1 个字节，英文字符通常 1:1 对应 token
Unicode 编码：支持多语言字符，一个字符可能占用 2 - 4 个字节，与 token 的对应关系更复杂
中文字符：通常一个汉字对应 2 - 3 个 token

BPE(Byte Pair Encoding)等分词算法会显著影响 token 与字符的比例：

英文：平均 1 个 token 对应 3 - 4 个字符
中文：平均 1 个汉字对应 1.5- 2 个 token
混合文本：比例取决于语言混合程度

import tiktoken

def count_tokens(text, model_name="gpt-4"):
    try:
        # 获取对应模型的编码方式
        encoding = tiktoken.encoding_for_model(model_name)
        # 将文本编码为 token
        tokens = encoding.encode(text)
        return len(tokens)
    except Exception as e:
        print(f"Error counting tokens: {e}")
        return 0

# 示例：统计中英文混合文本的 token 数
text = "这是一个测试文本。This is a test text."
token_count = count_tokens(text)
print(f"文本的 token 数量为: {token_count}")

假设我们有以下文本：

“ 自然语言处理 (Natural Language Processing) 是人工智能的重要分支 ”