深入解析BERT词嵌入：从原理到工程实践

1次阅读

共计 1490 个字符，预计需要花费 4 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是近年来 NLP 领域的重要突破。与传统的词嵌入方法不同，BERT 能够根据上下文动态生成词向量，解决了传统方法中一词多义的问题。然而，BERT 词嵌入在实际应用中也面临一些挑战：

高维度问题：BERT 的基础模型输出维度为 768，对于大规模语料库来说，存储和处理这些高维向量会消耗大量资源。
计算开销大：BERT 模型的参数量庞大，推理过程需要较强的计算能力，这对实时性要求高的应用场景是个挑战。
上下文依赖性：虽然上下文感知是个优势，但在某些需要固定词向量的场景中反而成为限制。

Word2Vec
优点：训练速度快，词向量固定，适合需要快速获取词嵌入的场景
缺点：无法处理一词多义，所有上下文中的单词都映射到同一个向量
GloVe
优点：利用全局统计信息，在某些任务上表现优于 Word2Vec
缺点：同样无法处理一词多义

上下文感知：同一个词在不同上下文中会有不同的向量表示
深度双向：同时考虑左右上下文信息
预训练 + 微调：可以针对特定任务进行微调

BERT 的词嵌入生成过程可以分为以下几个步骤：

输入表示
Token 嵌入：将单词分解为子词单元
位置嵌入：表示单词在句子中的位置
段嵌入：区分不同句子的标记
Transformer 编码
多层自注意力机制捕获长距离依赖
残差连接和层归一化稳定训练过程
输出表示
最后一层或特定层的隐藏状态作为词嵌入

from transformers import BertModel, BertTokenizer
import torch

# 初始化模型和分词器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 输入文本
text = "BERT embeddings are powerful for NLP tasks."

# 分词和编码
inputs = tokenizer(text, return_tensors="pt")

# 获取嵌入
with torch.no_grad():
    outputs = model(**inputs)

# 获取最后一层的隐藏状态
last_hidden_states = outputs.last_hidden_state

# 第一个 token 的嵌入（[CLS]标记）cls_embedding = last_hidden_states[0, 0, :]
print(f"CLS token embedding shape: {cls_embedding.shape}")