BERT词嵌入顺序解析：从原理到实战避坑指南

1次阅读

共计 1982 个字符，预计需要花费 5 分钟才能阅读完成。

BERT 这类 Transformer 模型的核心创新是 Self-Attention 机制，它通过计算词与词之间的关系权重来理解语义。但要注意的是：

位置感知的局限性 ：原始的 Transformer 没有递归结构，必须依赖位置编码(Positional Encoding) 来记录词序信息
词汇破碎现象：BERT 使用的 WordPiece 分词器会把单词拆分成子词(subword)，比如 ”unhappy” 可能被拆成[“un”, “##happy”]
特殊标记的干扰 ：添加的[CLS]、[SEP] 等标记会改变原始文本的词序位置

新手常犯的错误包括：

直接用空格分词，导致专有名词被错误拆分
忘记添加 [CLS] 和[SEP]标记，影响模型对句子关系的理解
未处理最大长度限制，导致长文本被意外截断

处理方式	示例输入	输出结果	影响维度
空格分词	“ 深度学习 ”	[“ 深度 ”, “ 学习 ”]	无法识别未登录词
jieba 分词	“ 深度学习 ”	[“ 深度 ”, “ 学习 ”]	保持词语完整但可能 OOV
WordPiece	“unhappy”	[“un”, “##happy”]	解决 OOV 但改变词素结构
BPE	“transformer”	[“trans”, “##former”]	平衡词典大小与覆盖率

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

text = "Natural language processing is fascinating."

# 自动添加 [CLS] 和[SEP]
inputs = tokenizer(
    text,               
    max_length=64,      # 控制最大长度
    truncation=True,    # 超长自动截断
    padding='max_length', # 填充到最大长度
    return_tensors='pt' # 返回 PyTorch 张量
)

print(inputs.keys())  # 输出: ['input_ids', 'token_type_ids', 'attention_mask']

batch_texts = ["First sentence.", "Second longer sentence needs truncation."]

# 自动处理不同长度
batch_inputs = tokenizer(
    batch_texts,
    max_length=32,
    truncation=True,
    padding=True,  # 自动按批次最大长度填充
    return_tensors='pt'
)

问题：中英文编码方式不同可能导致对齐错误
解决：统一转换为 Unicode 后再处理

text = "BERT 模型 (Bidirectional Encoder Representations) 很强大"
# 错误做法：直接编码可能拆分英文括号
# 正确做法：import unicodedata
text = unicodedata.normalize('NFKC', text)  # 统一字符格式

现象：中文全角标点与英文半角标点编码不同
方案：建立标点映射表统一转换

punctuation_map = {
    "，": ",",
    "。": ".",
    "；": ";"
}

def normalize_punctuation(text):
    for p in punctuation_map:
        text = text.replace(p, punctuation_map[p])
    return text

问题：批量处理长文本时内存爆炸
方案：使用生成器分批处理

def batch_tokenize(texts, batch_size=32):
    for i in range(0, len(texts), batch_size):
        batch = texts[i:i+batch_size]
        yield tokenizer(batch, ...)