解密AI模型中的Token机制：从基础概念到高效处理方案

1次阅读

没有评论

共计 1334 个字符，预计需要花费 4 分钟才能阅读完成。

Token 是自然语言处理（NLP）和大型语言模型（LLM）中的基本单位，它决定了模型如何理解和处理文本。简单来说，Token 就像是模型理解语言的“字母表”。

WordPiece：Google 提出的分词算法，通过统计方法将单词拆分为更小的子词单元。例如，”unhappiness” 可能被拆分为 ”un”、”happiness”。
BPE（Byte Pair Encoding）：另一种流行的分词算法，通过合并高频字符对来构建词汇表。比如，”low” 和 ”lower” 可能共享 ”low” 这个 Token。
字符级 Token：将每个字符作为一个 Token，适用于语言中字符组合灵活的场景（如中文）。

在实际应用中，Token 处理常常面临以下挑战：

长度限制：大多数模型有 Token 数量上限（如 GPT- 3 的 4096 个 Token），长文本需要截断或分段处理。
效率问题：复杂的分词算法可能导致预处理时间过长，尤其是在批处理场景下。
成本考量：某些 API 按 Token 数量计费，低效的 Tokenization 会直接增加成本。

基于任务需求选择：
对多语言支持要求高：Unigram 或 SentencePiece
需要处理罕见词汇：BPE 或 WordPiece
批处理技术：
使用 Hugging Face 的 padding='max_length' 统一序列长度
设置 truncation=True 自动处理超长文本
内存优化：
启用 fp16 减少内存占用
使用 torch.utils.checkpoint 实现梯度检查点

以下是使用 Hugging Face Tokenizer 的典型示例：

from transformers import AutoTokenizer

# 初始化分词器
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

# 批处理文本
texts = ["This is a sample text.", "Another example sentence."]

# 自动处理 padding 和 truncation
inputs = tokenizer(
    texts,
    padding='max_length',  # 自动补齐到最大长度
    truncation=True,       # 自动截断超长文本
    max_length=512,        # 设置最大 Token 数
    return_tensors="pt"    # 返回 PyTorch 张量
)

print(inputs.input_ids.shape)  # 输出：torch.Size([2, 512])

通过对比实验发现：