深入解析BERT词嵌入技术：从原理到工程实践

1次阅读

共计 2612 个字符，预计需要花费 7 分钟才能阅读完成。

自然语言处理（NLP）中，词嵌入（Word Embedding）是核心基础技术。早期 Word2Vec 和 GloVe 等静态词向量方法通过浅层神经网络或矩阵分解，将单词映射到固定维度的向量空间。这类方法存在明显局限：

上下文不敏感：”bank” 在 ”river bank” 和 ”bank account” 中始终对应相同向量
多义词混淆：无法区分单词在不同语境下的语义变化
罕见词处理：低频词因训练不足导致表征质量差

通过 Transformer 的 Self-Attention 机制，BERT 生成的词向量满足：
$$\mathbf{h}_i = f(\mathbf{h}_i^{\text{static}}, {\mathbf{h}_j|j\in\text{context}})$$
其中 $\mathbf{h}_i^{\text{static}}$ 是传统静态词向量，上下文相关部分由 Attention 权重动态计算。

与传统单向语言模型不同，BERT 采用 Masked Language Model（MLM）目标，通过多层 Transformer（通常 12/24 层）实现：

底层捕获语法特征
中层建模局部语义
高层整合全局信息

基于 WordPiece 的子词切分策略有效解决 OOV（Out-Of-Vocabulary）问题：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
print(tokenizer.tokenize("unhappiness"))  # ['un', '##happy', '##ness']

import torch
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained("bert-base-uncased", output_hidden_states=True)
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

inputs = tokenizer("natural language processing", return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

# 获取各层向量（13 层：嵌入层 +12 个 Transformer 层）all_layers = outputs.hidden_states  # tuple of (batch_size, seq_len, hidden_dim)
last_layer = outputs.last_hidden_state  # 等价于 all_layers[-1]

方法	优点	缺点
最后一层	语义信息最丰富	可能丢失基础语法特征
层平均（4- 9 层）	平衡语法语义	需要实验确定最佳层数
层拼接	保留全部层次特征	维度膨胀（12*768=9216）

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt

# 提取 [CLS] 标记的向量作为句子表示
cls_vectors = last_layer[:, 0, :].numpy()

# 降维可视化
tsne = TSNE(n_components=2)
vis_data = tsne.fit_transform(cls_vectors)

plt.scatter(vis_data[:,0], vis_data[:,1])
plt.title("BERT Sentence Embedding Visualization")
plt.show()

实验表明约 30% 的注意力头可被移除而不显著影响效果：

# 基于重要性得分的头剪枝（示例）importance_scores = calculate_attention_importance(model)
pruned_indices = torch.topk(importance_scores, k=int(0.7*12))[1]

class PrunedBERT(torch.nn.Module):
    def __init__(self, original_model):
        super().__init__()
        # 实现自定义的前向传播跳过被剪枝的头
        ...

结合 FAISS 实现百万级向量毫秒检索：

import faiss

# 构建索引
dimension = 768
index = faiss.IndexFlatIP(dimension)
faiss.normalize_L2(embeddings)  # 余弦相似度需归一化
index.add(embeddings)

# 检索 TopK 相似项
D, I = index.search(query_embedding, k=5)

始终检查 tokenizer 输出确认切分结果
对子词向量采用加权平均策略：
$$\mathbf{h}{\text{word}} = \sum$$}^n \frac{1}{i} \mathbf{h}_{\text{subword}_i

使用梯度检查点（gradient checkpointing）
混合精度训练（fp16/bf16）

分批次处理长文本：

from transformers import BertModel
model = BertModel.from_pretrained("bert-base-uncased", 
                                max_position_embeddings=2048)  # 扩展位置编码

如何融合知识图谱（Knowledge Graph）的结构化信息增强 BERT 的词嵌入？现有两种思路：