AI中Token的使用：从基础概念到实战避坑指南

1次阅读

共计 1760 个字符，预计需要花费 5 分钟才能阅读完成。

在自然语言处理（NLP）中，Token 是文本处理的基本单位。根据不同的分词策略，Token 可以是字符、词或子词(subword)。将文本拆分为 Token 的过程称为 Tokenization（分词）。

字符级(Character-level): 每个字符作为一个 Token，比如 ”hello” 会被拆分为[‘h’,’e’,’l’,’l’,’o’]
词级(Word-level): 以空格或标点分隔的完整单词作为 Token，如 ”I love NLP” 拆分为[‘I’,’love’,’NLP’]
子词级(Subword-level): 介于字符和词之间，常见的有 WordPiece 和 BPE 算法，比如 ”unhappy” 可能拆分为[‘un’,’happy’]

模型输入限制：大多数 Transformer 模型有最大 Token 数限制(如 512)
计算效率：Token 数量直接影响计算资源和时间消耗
语义理解：分词质量影响模型对文本的理解能力

中文没有天然空格分隔，分词更复杂。例如：

# 英文分词
"Hello world" → ['Hello', 'world']

# 中文分词
"你好世界" → ['你','好','世','界'] 或 ['你好','世界']

当文本 Token 数超过模型限制时，常见的处理方式：

截断(Truncation)
拆分后分批处理
使用滑动窗口

许多表情符号会被拆分为多个 Token：

"😂" → [':', 'D']  # 在某些分词器中

安装最新版 transformers：

pip install transformers

基础使用示例：

from transformers import AutoTokenizer

# 加载预训练分词器
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# 分词示例
text = "Hello world! 你好，世界"
tokens = tokenizer.tokenize(text)
print(tokens)
# 输出: ['hello', 'world', '!', '你', '好', '，', '世', '界']

# 转换为 ID
input_ids = tokenizer.encode(text)
print(input_ids)
# 输出: [101, 19082, 1362, 999, 100, 100, 100, 100, 102]

特性	WordPiece	BPE
算法原理	基于概率合并	统计频率合并
合并策略	选择使似然函数最大化的对	选择最高频的字符对
典型模型	BERT	GPT
中文支持	较好	一般
未知词处理	拆分为子词	拆分为子词

# 计算 Token 使用率
def token_usage(text):
    tokens = tokenizer.tokenize(text)
    ratio = len(tokens) / tokenizer.model_max_length
    return {'token_count': len(tokens),
        'usage_ratio': f"{ratio:.1%}",
        'is_truncated': len(tokens) > tokenizer.model_max_length
    }