从零实现CBOW模型：词嵌入矩阵的构建与优化实战

1次阅读

共计 2308 个字符，预计需要花费 6 分钟才能阅读完成。

在自然语言处理（NLP）中，词嵌入技术是许多任务的基础，如文本分类、机器翻译等。CBOW（Continuous Bag of Words）模型是 Word2Vec 的一种实现方式，它通过学习上下文来预测目标词，从而生成词向量。词嵌入的核心价值在于将离散的词转换为连续的向量表示，使得语义相似的词在向量空间中距离相近。

然而，在实际实现 CBOW 模型时，初学者常常会遇到一些困难。例如，稀疏矩阵会消耗大量内存，低频词难以得到有效的训练，窗口大小的选择会影响模型的性能等。这些问题都需要我们在实现过程中特别注意。

数据预处理是构建 CBOW 模型的第一步。我们需要对文本进行分词，并构建词汇表。以下是一个简单的 Python 实现：

import numpy as np
from collections import defaultdict

def tokenize(text):
    """将文本分词并转换为小写"""
    return text.lower().split()

def build_vocab(tokens):
    """构建词汇表并统计词频"""
    vocab = defaultdict(int)
    for token in tokens:
        vocab[token] += 1
    return vocab

# 示例文本
text = "This is an example sentence for tokenization and vocabulary building."
tokens = tokenize(text)
vocab = build_vocab(tokens)
print("Vocabulary:", vocab)

接下来是 CBOW 模型的网络结构搭建。我们使用 PyTorch 来实现包含 embedding 层的 CBOW 架构：

import torch
import torch.nn as nn
import torch.optim as optim

class CBOW(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(CBOW, self).__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.linear = nn.Linear(embedding_dim, vocab_size)

    def forward(self, inputs):
        embeds = self.embeddings(inputs).mean(dim=1)
        out = self.linear(embeds)
        return out

# 示例参数
vocab_size = len(vocab)
embedding_dim = 100
model = CBOW(vocab_size, embedding_dim)
print(model)

在训练过程中，学习率调整和负采样是提升模型性能的关键技巧。以下是一个简单的负采样实现：

from tqdm import tqdm

def train(model, data_loader, epochs=10, lr=0.001):
    """训练 CBOW 模型"""
    optimizer = optim.Adam(model.parameters(), lr=lr)
    criterion = nn.CrossEntropyLoss()

    for epoch in tqdm(range(epochs), desc="Training"):
        total_loss = 0
        for inputs, targets in data_loader:
            optimizer.zero_grad()
            outputs = model(inputs)
            loss = criterion(outputs, targets)
            loss.backward()
            optimizer.step()
            total_loss += loss.item()
        print(f"Epoch {epoch+1}, Loss: {total_loss}")

如何选择 embedding_dim 的实践经验
一般来说，embedding_dim 的选择取决于任务的需求和语料的大小。对于小型语料，50-100 维足够；对于大型语料，300 维或更高可能更合适。
处理 OOV 词的工程方案
对于词汇表中未出现的词（OOV），可以使用特殊的 <UNK> 标记来表示，并在训练时给予较低的权重。
使用 gensim 进行结果验证的方法

Gensim 提供了 Word2Vec 的实现，可以用来验证我们自己实现的 CBOW 模型。例如：

from gensim.models import Word2Vec

# 使用 Gensim 训练 Word2Vec 模型
sentences = [["this", "is", "a", "sentence"], ["another", "sentence"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
print(model.wv.most_similar("sentence"))