词嵌入技术解析：从Word2Vec到BERT的演进与实战

1次阅读

没有评论

共计 3054 个字符，预计需要花费 8 分钟才能阅读完成。

词嵌入是自然语言处理（NLP）的核心技术之一，它将词汇映射到低维稠密向量空间，使得语义相似的词在向量空间中距离相近。然而，在实际应用中，开发者常常面临以下挑战：

维度灾难：传统的词袋模型或 TF-IDF 方法在高维稀疏空间中效率低下，难以捕捉语义关系。
上下文无关：早期的词嵌入模型（如 Word2Vec）无法区分多义词的不同含义，导致语义表达不准确。
数据稀疏性：对于低频词或未登录词（OOV），模型难以生成高质量的嵌入向量。
领域适配：预训练的词嵌入模型在特定领域（如医疗、金融）表现不佳，需要额外的微调或适配。

Word2Vec 通过浅层神经网络（CBOW 或 Skip-gram）学习词向量，其核心思想是通过上下文预测目标词（或反之）。

优点：训练速度快，适用于大规模语料；生成的词向量具有线性可加性（如“国王 – 男 + 女 ≈ 女王”）。
缺点：无法处理多义词；静态词向量无法适应不同上下文。

GloVe 基于全局词共现统计信息，将词向量学习转化为矩阵分解问题。

优点：结合了全局统计信息和局部上下文窗口，适用于中等规模语料。
缺点：与 Word2Vec 类似，仍为静态词向量。

FastText 通过子词（n-gram）信息增强词嵌入，将单词拆分为字符级 n -gram 的组合。

优点：能有效处理未登录词；适用于形态丰富的语言（如德语、土耳其语）。
缺点：计算开销较大；仍无法解决多义性问题。

ELMo 通过双向 LSTM 生成上下文相关的词向量，首次实现了动态词嵌入。

优点：能够捕捉多义词的不同含义；适用于复杂语义任务。
缺点：模型结构复杂，训练和推理速度较慢。

BERT 基于 Transformer 架构，通过掩码语言模型（MLM）和下一句预测（NSP）任务预训练，生成深度上下文相关的词向量。

优点：支持双向上下文建模；在多项 NLP 任务中达到 SOTA 性能。
缺点：模型参数量大，资源消耗高；微调需要领域相关数据。

以下代码展示如何使用 Hugging Face Transformers 库加载和微调 BERT 模型：

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
from datasets import load_dataset

# 加载预训练模型和分词器
model_name = "bert-base-uncased"
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)

# 加载数据集（示例使用 IMDB 情感分析数据集）dataset = load_dataset("imdb")

def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 定义训练参数
training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 初始化 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["test"],
)

# 微调模型
trainer.train()

代码说明：
1. 使用 BertTokenizer 对输入文本进行分词和编码。
2. BertForSequenceClassification加载预训练 BERT 模型，并添加分类头。
3. 通过 TrainingArguments 配置训练超参数，如学习率、批次大小等。
4. Trainer类封装了训练循环，支持分布式训练和评估。

将模型参数从 FP32 转换为 INT8，减少内存占用和推理延迟。

from transformers import BertModel, quantization

model = BertModel.from_pretrained("bert-base-uncased")
quantized_model = quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

通过教师 - 学生模型框架，将大模型的知识迁移到小模型。

from transformers import DistilBertForSequenceClassification

distilled_model = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased")

移除模型中冗余的注意力头或神经元，降低计算复杂度。

from transformers import BertForSequenceClassification, prune_heads

model = BertForSequenceClassification.from_pretrained("bert-base-uncased")
prune_heads(model, {1: [0, 2]})  # 剪枝第 1 层的第 0 和第 2 个注意力头