BERT词嵌入底层结构解析：从原理到实践入门指南

1次阅读

共计 2345 个字符，预计需要花费 6 分钟才能阅读完成。

词嵌入（Word Embedding）是自然语言处理（NLP）中的基础技术，它将单词映射到低维连续向量空间，使得语义相似的单词在向量空间中距离相近。传统的词嵌入方法如 Word2Vec 和 GloVe 虽然简单有效，但它们生成的词向量是静态的，即一个单词在不同上下文中具有相同的向量表示。

BERT（Bidirectional Encoder Representations from Transformers）的出现彻底改变了这一局面。通过 Transformer 架构和双向上下文建模，BERT 能够生成动态的词嵌入，即同一个单词在不同上下文中会有不同的向量表示。这种上下文感知的词嵌入显著提升了 NLP 任务的性能。

传统词嵌入与 BERT 词嵌入的主要区别：

静态 vs 动态：Word2Vec 生成的词向量是静态的，而 BERT 的词向量会根据上下文动态变化。
单向 vs 双向：Word2Vec 通常使用单向语言模型（如 Skip-gram 或 CBOW），而 BERT 通过 Transformer 的双向自注意力机制同时考虑左右上下文。
浅层 vs 深层：Word2Vec 是浅层模型，而 BERT 包含多层 Transformer 编码器，能够捕捉更复杂的语义和语法信息。

BERT 的核心是 Transformer 编码器堆叠。每个 Transformer 编码器层包含：

自注意力机制：计算输入序列中每个词与其他词的关系权重，从而动态调整词向量的表示。
前馈神经网络：对自注意力层的输出进行非线性变换。
残差连接和层归一化：缓解深度网络训练中的梯度消失问题。

由于 Transformer 没有循环结构，需要通过位置编码（Positional Encoding）注入序列的位置信息。BERT 使用固定公式生成位置编码：

PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

其中 pos 是位置，i是维度索引，d_model是词向量的维度。

BERT 的词嵌入由三部分组成：

Token Embedding：单词本身的向量表示。
Position Embedding：单词在序列中的位置信息。
Segment Embedding：用于区分不同句子（在 NSP 任务中使用）。

这三部分相加形成最终的输入表示，然后通过多层 Transformer 编码器生成上下文感知的词向量。

以下是使用 HuggingFace Transformers 库提取 BERT 词向量的完整示例：

from transformers import BertTokenizer, BertModel
import torch

# 加载预训练模型和分词器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 输入文本
text = "The cat sits on the mat"

# 分词和编码
inputs = tokenizer(text, return_tensors="pt")

# 获取 BERT 输出
with torch.no_grad():
    outputs = model(**inputs)

# 获取最后一层的词向量（batch_size, sequence_length, hidden_size）last_hidden_states = outputs.last_hidden_state

# 获取句子向量（取 [CLS] 标记的向量）sentence_embedding = last_hidden_states[0, 0, :]

# 计算相似度（示例：计算两个句子的余弦相似度）def cosine_similarity(vec1, vec2):
    return torch.nn.functional.cosine_similarity(vec1, vec2, dim=0)

使用 BERT 词嵌入时需要考虑以下性能因素：