BERT词嵌入向量实战指南：从原理到生产环境部署

1次阅读

没有评论

共计 2219 个字符，预计需要花费 6 分钟才能阅读完成。

BERT 等预训练模型生成的词嵌入向量通常具有 768 或 1024 维，虽然表达能力强大，但在实际应用中会面临以下问题：

存储压力：假设一个包含 10 万个词汇的表，768 维的 float32 向量将占用约 300MB 内存
计算延迟：高维向量间的相似度计算（如余弦相似度）会显著增加响应时间
维度灾难：在后续任务（如分类 / 聚类）中，过高维度可能导致模型过拟合

原理：线性投影保留最大方差方向
时间复杂度：O(d²n + d³)，d 为原维度，n 为样本数
精度损失：约 5 -8%（768→256 维时）
适用场景：需要保留全局结构的任务

原理：基于流形学习的非线性降维
时间复杂度：O(n²)（小批量可优化）
精度损失：3-5%（768→256 维时）
适用场景：可视化或局部结构敏感的任务

原理：将向量分段压缩为码本索引
时间复杂度：O(dk)，k 为码本大小
精度损失：10-15%（压缩率较高时）
适用场景：海量数据近似最近邻搜索

import torch
from transformers import BertModel, BertTokenizer

# 加载预训练模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased').cuda()

# 获取嵌入并 L2 标准化
def get_normalized_embeddings(texts):
    inputs = tokenizer(texts, return_tensors='pt', padding=True, truncation=True).to('cuda')
    with torch.no_grad():
        outputs = model(**inputs)
    embeddings = outputs.last_hidden_state[:, 0, :]  # 取 [CLS] 位置
    return torch.nn.functional.normalize(embeddings, p=2, dim=1)  # L2 标准化

from sklearn.decomposition import PCA
import numpy as np

# 示例：将 768 维降至 256 维
pca = PCA(n_components=256, whiten=True)

# 分批处理避免 OOM
batch_embeddings = []
for batch in dataloader:  # 假设已有数据加载器
    batch_emb = get_normalized_embeddings(batch)
    batch_embeddings.append(batch_emb.cpu().numpy())
    torch.cuda.empty_cache()  # 及时清空显存

full_embeddings = np.concatenate(batch_embeddings)
pca.fit(full_embeddings)  # 训练 PCA

def apply_pca(embeddings):
    return torch.from_numpy(pca.transform(embeddings.cpu().numpy())).cuda()

维度	相似度准确率	F1 值	推理速度（QPS）
768	82.1%	85.3	120
256	80.7%	84.1	310
128	78.9%	82.5	480

注：测试环境为 NVIDIA T4 GPU，batch_size=32

方案：对未登录词采用 subword 嵌入的平均值

代码示例：

def handle_oov(text):
    tokens = tokenizer.tokenize(text)
    if not tokens:
        return torch.zeros(768).cuda()
    ids = tokenizer.convert_tokens_to_ids(tokens)
    return model.embeddings.word_embeddings(torch.tensor(ids).cuda()).mean(0)