共计 1651 个字符，预计需要花费 5 分钟才能阅读完成。
从文本到 Token 向量：BERT 的编码之旅
当我们把一句 ”Hello, BERT!” 输入模型时，背后发生了三件关键事：
- WordPiece 分词：BERT 使用 30000 个 Token 的词汇表，将单词拆分为子词单元。例如 ”unhappy” 会拆分为[“un”, “##happy”]
- 添加特殊 Token：在开头加[CLS]（分类用途），在句子间加[SEP]（分隔符号）
- 位置编码：为每个 Token 添加位置信息，让模型知道 ” 苹果 ” 是句子的第一个词还是第五个词
最终输入形式类似：
[CLS] Hello , BERT ! [SEP]特殊 Token 的隐藏技能
- [CLS]向量：经过所有层聚合后，适合用作分类任务的特征（但实践发现取最后一层均值效果可能更好）
- [SEP]向量：标记句子边界，在 NLI 等任务中特别重要
- [PAD]向量：用于批次处理时的填充，需配合 attention_mask 使用
代码实战：提取 Token 向量
from transformers import BertTokenizer, BertModel
import torch
# 初始化模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
# 输入文本处理
texts = ["Hello, BERT!", "How are you?"]
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)
# inputs 包含：input_ids, attention_mask, token_type_ids
# 获取向量
with torch.no_grad():
outputs = model(**inputs)
# outputs.last_hidden_state 形状为(batch_size, seq_len, hidden_dim)
token_embeddings = outputs.last_hidden_state
# 查看第一个句子的第一个 Token 向量
print(f"向量维度：{token_embeddings[0,0].shape}")
print(f"[CLS] Token 向量：{token_embeddings[0,0][:10]}...") # 打印前 10 维新手常踩的 5 个坑
- 文本 -Token 对齐丢失：中文 BERT 分词后可能与原文本长度不一致，建议使用 tokenizer 的
offset_mapping - 忽视 attention_mask：处理变长文本时必须传入，否则会受 [PAD] 影响
- 错误选择编码层：最后一层不一定最好，可尝试倒数第二层或层组合
- 直接平均所有 Token：对于问答等任务，应只平均相关片段 Token
- 误用 [CLS] 向量：有些场景需要微调后再用，直接使用效果可能不佳
生产环境优化策略
- 缓存机制：对频繁查询的文本预计算向量存储
- 长文本处理：采用滑动窗口（512Token 为限），然后融合窗口结果
- 批量优化：动态 padding（使用 DataCollatorForLanguageModeling）
- 量化压缩：使用 8bit 量化版模型（如 bert-base-uncased-8bit）
进阶实验建议
尝试用不同方式处理 Token 向量，在文本分类任务上比较效果：
- CLS 策略：直接取[CLS]Token 作为全文表示
- 均值池化：对非[PAD]Token 取均值
- 最大池化：对每个维度取最大值
- 首尾拼接 ：取[CLS] 和最后一个有效 Token 拼接
你会发现，不同任务的最佳策略可能不同——这正是 NLP 工程师需要掌握的调优技能。
最后的小贴士
当使用预训练 BERT 时，记住：这些 Token 向量已经包含了丰富的语言学知识。就像用微波炉加热食物，我们不需要从头学习制造微波炉，但要学会调整火力和时间。建议先用简单任务（如文本相似度计算）感受 Token 向量的特性，再挑战复杂任务。Happy BERT-ing！
正文完
