BERT词向量嵌入原理详解与实战应用指南

1次阅读

共计 2317 个字符，预计需要花费 6 分钟才能阅读完成。

在 NLP 任务中，Word2Vec 和 GloVe 等传统词向量技术存在明显缺陷：

静态单一性：同一个词在不同语境下始终对应相同向量（例如 ” 苹果 ” 在水果和科技公司场景无法区分）
未考虑词序：” 猫抓老鼠 ” 和 ” 老鼠抓猫 ” 会得到相同的句向量
OOV 问题：遇到词表外的词汇时只能粗暴地用 UNK 标记代替

Transformer 基础层：仅依赖自注意力机制生成位置无关的表示
ELMo：通过双向 LSTM 获得上下文相关特征，但存在梯度消失和并行化困难
BERT 核心突破：
采用 Transformer Encoder 堆叠
引入 Masked Language Model 预训练任务
支持动态生成随上下文变化的词向量

数学表达上，BERT 的词向量是各层 Transformer 输出的加权组合：
$$\mathbf{h}i = \sum$$
其中 $L$ 为总层数，$w_l$ 为第 $l$ 层的权重系数。}^{L} w_l \cdot \mathbf{h}_i^{(l)

# HuggingFace 实现片段
embeddings = inputs_embeds + position_embeddings + token_type_embeddings

Token Embedding：将词片映射到 768/1024 维空间（base/large 版本）
Position Embedding：最大支持 512 个 token 的位置编码，解决长距离依赖问题
Segment Embedding：处理句子对任务时区分前后文本（如 QA 场景）

[CLS]：分类任务常用该位置向量作为整个序列的表示
[SEP]：分隔符的嵌入包含句子边界信息
[PAD]：填充位的嵌入会被 attention_mask 忽略

from transformers import BertModel, BertTokenizer
import torch

# 初始化模型（自动下载预训练权重）model = BertModel.from_pretrained('bert-base-uncased', output_hidden_states=True)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# GPU 加速与批处理
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)

def get_bert_embeddings(texts, batch_size=32):
    all_embeddings = []

    for i in range(0, len(texts), batch_size):
        batch = texts[i:i+batch_size]

        # 自动处理长文本截断
        inputs = tokenizer(batch, return_tensors='pt', 
                         padding=True, truncation=True, 
                         max_length=512).to(device)

        with torch.no_grad():
            outputs = model(**inputs)

        # 取最后 4 层隐藏状态的加权平均（经验值）hidden_states = torch.stack(outputs.hidden_states[-4:])
        embeddings = torch.mean(hidden_states, dim=0)

        # 移除 padding 部分的向量
        attention_mask = inputs['attention_mask'].unsqueeze(-1)
        embeddings = embeddings * attention_mask

        all_embeddings.extend(embeddings.cpu().numpy())

    return all_embeddings

输出层数	STS- B 语义相似度（Spearman）	内存占用（MB/1000tokens）
最后一层	0.865	420
最后 4 层平均	0.878	450
全部 12 层连接	0.871	680

长文本处理方案：
滑动窗口法：512token 为单元滑动处理，重叠部分取均值
关键句提取：先用 TextRank 等算法提取核心句子
内存优化技巧：
使用 torch.no_grad() 禁用梯度计算
及时调用torch.cuda.empty_cache()
对固定语料可预计算并存储向量

from sklearn.metrics.pairwise import cosine_similarity

text1 = "深度学习模型优化技巧"
text2 = "如何提升神经网络训练效果"

emb1 = get_bert_embeddings([text1])[0][0]  # 取 [CLS] 向量
emb2 = get_bert_embeddings([text2])[0][0]

similarity = cosine_similarity([emb1], [emb2])[0][0]
print(f"语义相似度: {similarity:.4f}")