BERT词嵌入实战指南：从原理到生产环境部署

1次阅读

共计 1943 个字符，预计需要花费 5 分钟才能阅读完成。

在搜索框输入 ” 苹果新品发布会 ” 时：
– 传统方法可能返回水果苹果的无关结果
– BERT 能理解这里的 ” 苹果 ” 指科技公司

在客户投诉分类场景中：
– 相同词汇在不同语境表达不同情绪（如 ” 快 ” 在快递场景是褒义，在医疗场景可能是贬义）
– 静态词向量无法捕捉这种差异

特性	Word2Vec/GloVe	BERT
OOV 处理	无法处理新词	子词切分解决 OOV
上下文感知	固定单一向量	动态上下文向量
训练方式	浅层网络	深度双向 Transformer
语义粒度	词级别	字符 / 子词级别

from transformers import AutoTokenizer, AutoModel
import torch

# 指定缓存路径避免重复下载
MODEL_PATH = 'bert-base-chinese'
CACHE_DIR = './model_cache'

# 建议首次下载后保存到本地
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, cache_dir=CACHE_DIR)
model = AutoModel.from_pretrained(MODEL_PATH, cache_dir=CACHE_DIR)

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model.to(device)

def batch_embed(texts, batch_size=8):
    # 自动处理 padding 和 attention mask
    inputs = tokenizer(
        texts, 
        return_tensors='pt', 
        padding=True, 
        truncation=True,
        max_length=512
    ).to(device)

    # 梯度计算会影响推理速度
    with torch.no_grad():
        outputs = model(**inputs)

    # 取最后一层隐藏状态作为词嵌入
    return outputs.last_hidden_state.cpu().numpy()

from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

def visualize_embeddings(embeddings, words):
    pca = PCA(n_components=2)
    reduced = pca.fit_transform(embeddings)

    plt.figure(figsize=(10,6))
    for i, word in enumerate(words):
        plt.scatter(reduced[i,0], reduced[i,1])
        plt.annotate(word, (reduced[i,0], reduced[i,1]))
    plt.show()

# 示例：对比 "苹果" 在不同语境下的向量
embeddings = batch_embed(["新鲜的苹果", "苹果手机", "苹果公司"])
visualize_embeddings(embeddings[:,0,:], ['新鲜苹果', '苹果手机', '苹果公司'])

max_seq_length	批大小 8	批大小 16
128	2.1GB	3.8GB
256	3.5GB	6.2GB
512	5.8GB	报 OOM

蒸馏模型 （如 bert-base-chinese-distilled）
体积减少 40%
速度提升 2 倍
准确度下降约 3%
int8 量化
需安装 apex 库
内存占用减少 50%
可能损失边缘 case 精度

使用专门的中文分词器（如 bert-base-chinese）
处理特殊符号：清除全角空格等非常规字符
警惕标点符号：中文逗号与英文逗号编码不同

# 错误：直接使用 base 版本处理中文
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')  # 错误！# 正确：指定中文专用模型
tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')