深入解析BERT词嵌入底层结构：从数学原理到工程实现

1次阅读

没有评论

共计 2200 个字符，预计需要花费 6 分钟才能阅读完成。

在自然语言处理（NLP）领域，词嵌入（Word Embedding）是表示词语的基本技术。传统的词嵌入方法如 Word2Vec、GloVe 等，虽然能够将词语映射到连续的向量空间，但它们存在两个主要缺陷：

静态性：一个词在不同上下文中的向量表示是固定的，无法反映多义性。
上下文无关：无法捕捉词语在句子中的位置和语法关系。

BERT（Bidirectional Encoder Representations from Transformers）通过引入 Transformer 架构和双向上下文建模，解决了上述问题。其核心创新包括：

动态词向量：同一个词在不同上下文中会有不同的向量表示。
位置编码：显式地建模词语在句子中的位置信息。
注意力机制：通过自注意力（Self-Attention）捕捉词语间的依赖关系。

BERT 的词嵌入由三个部分组成：

Token Embeddings：将每个词语映射到一个 768 维（BERT-base）或 1024 维（BERT-large）的向量空间。
Position Embeddings：为每个词语在句子中的位置分配一个独特的向量。
Segment Embeddings：用于区分不同句子（如问答任务中的问题和答案）。

数学上，词嵌入可以表示为：

[E = E_{\text{token}} + E_{\text{position}} + E_{\text{segment}} ]

其中，(E_{\text{token}} )、(E_{\text{position}} )和 (E_{\text{segment}} ) 分别对应上述三种嵌入。

BERT 使用可学习的位置编码（Learnable Positional Encoding），而非 Transformer 原版的正弦 / 余弦函数。具体实现如下：

初始化一个最大序列长度（如 512）的位置编码矩阵。
对输入序列中的每个位置，查找对应的位置向量并加到词嵌入上。

BERT 的自注意力机制通过以下步骤计算词语间的依赖关系：

线性变换：将输入嵌入通过三个不同的权重矩阵（(W_Q), (W_K), (W_V)）映射到查询（Query）、键（Key）和值（Value）空间。
注意力分数计算：
[\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V ]
其中，(d_k)是键向量的维度，缩放因子 (\sqrt{d_k} ) 用于防止点积过大导致梯度消失。
多头注意力：将上述过程重复多次（BERT-base 为 12 头），并将结果拼接后通过线性变换输出。

以下代码展示了如何使用 PyTorch 和 HuggingFace 的 transformers 库提取 BERT 词嵌入：

import torch
from transformers import BertModel, BertTokenizer

# 加载预训练模型和分词器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 输入文本
text = "BERT is a powerful NLP model."

# 分词和编码
inputs = tokenizer(text, return_tensors="pt")

# 获取词嵌入
with torch.no_grad():
    outputs = model(**inputs)

# 输出的词嵌入（最后一层的隐藏状态）last_hidden_states = outputs.last_hidden_state  # 形状：[batch_size, seq_len, hidden_size]
print(last_hidden_states.shape)