BERT模型词嵌入实战：从原理到生产环境部署指南

1次阅读

共计 2409 个字符，预计需要花费 7 分钟才能阅读完成。

在自然语言处理（NLP）领域，传统的词嵌入方法如 Word2Vec 和 GloVe 虽然被广泛使用，但它们存在两个明显的局限：

静态词向量：同一个词在不同上下文中始终对应相同的向量表示，无法区分多义词（如 ” 苹果 ” 在水果和科技公司场景下的不同含义）
OOV 问题：遇到词汇表外的单词（Out-of-Vocabulary）时只能统一表示为[UNK]，导致信息丢失

BERT（Bidirectional Encoder Representations from Transformers）通过上下文感知的动态词嵌入解决了这些问题。例如：

# 传统 Word2Vec 的表现
vec("银行") == vec("河岸边的银行")  # True

# BERT 的表现
vec("银行", context="金融机构") != vec("银行", context="河流")  # True

特性	Word2Vec/GloVe	BERT
词向量类型	静态	动态上下文感知
OOV 处理	统一[UNK]	子词划分（Subword）
多义词区分	不支持	支持
计算复杂度	低	高
预训练目标	共现统计	MLM+NSP

!pip install transformers torch
from transformers import BertModel, BertTokenizer
import torch

# 自动选择 GPU 加速
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 使用 gradient_checkpointing 节省显存
model = BertModel.from_pretrained("bert-base-uncased", 
                                gradient_checkpointing=True).to(device)
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# 启用 FP16 半精度计算
model.half()

方法一：CLS 池化（句子表征）

def get_cls_embedding(text):
    inputs = tokenizer(text, return_tensors="pt", 
                      truncation=True, padding=True).to(device)
    with torch.no_grad():
        outputs = model(**inputs)
    return outputs.last_hidden_state[:, 0, :].cpu().numpy()  # 取 [CLS] 位置

方法二：均值池化（词 / 句表征）

def get_mean_embedding(text):
    inputs = tokenizer(text, return_tensors="pt", 
                      truncation=True, padding=True).to(device)
    with torch.no_grad():
        outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1).cpu().numpy()

# 比较 FP32 与 FP16 的精度差异
text = "Natural language processing"
vec_fp32 = get_cls_embedding(text)  # 默认 FP32
vec_fp16 = get_cls_embedding(text)  # model.half()后

print(f"余弦相似度: {cosine_similarity(vec_fp32, vec_fp16)}")
# 典型输出: 0.998+ 说明精度损失可接受

!pip install faiss-cpu
import faiss

# 假设已有 1000 个嵌入向量（维度 768）embeddings = np.random.rand(1000, 768).astype("float32")

# 构建 IVF 索引
index = faiss.IndexIVFFlat(faiss.IndexFlatL2(768),
    768,
    nlist=100,  # 聚类中心数
    metric=faiss.METRIC_L2
)
index.train(embeddings)
index.add(embeddings)

# 相似度查询
D, I = index.search(embeddings[:5], k=3)  # 查询前 5 个向量的最近 3 邻

def process_long_text(text, max_len=512):
    # 方法 1：滑动窗口
    tokens = tokenizer.tokenize(text)
    chunks = [tokens[i:i+max_len] for i in range(0, len(tokens), max_len-32)]

    # 方法 2：关键句提取（需配合其他 NLP 工具）return [tokenizer.convert_tokens_to_string(chunk) for chunk in chunks]

# 错误示范
input_ids = tokenizer.encode("渥太华", add_special_tokens=True)  # 可能得到[UNK]

# 正确做法：强制使用子词
print(tokenizer.tokenize("渥太华"))  # ['渥', '## 太', '## 华']

在实际业务场景中，如何结合领域知识对 BERT 进行微调？例如：