CBOW词嵌入从入门到实战：原理详解与Python实现

1次阅读

共计 1864 个字符，预计需要花费 5 分钟才能阅读完成。

自然语言处理（NLP）中，词嵌入是将词语映射到实数向量的技术。这种表示方法能让计算机更好地理解词语之间的语义和语法关系。传统的 one-hot 编码虽然简单，但无法表达词语间的关联性，而词嵌入通过稠密向量解决了这个问题。

CBOW（Continuous Bag of Words）是词嵌入的一种经典模型，它通过上下文预测当前词来学习词向量。与 Skip-gram 模型相比，CBOW 在小型数据集上通常表现更好，训练速度也更快。

CBOW 的核心思想是利用上下文词来预测目标词。假设我们有一个句子 ”I love natural language processing”，当窗口大小为 2 时，对于目标词 ”natural”，上下文词是[“love”, “language”]。

模型的数学过程可以简化为：
1. 将上下文词的 one-hot 向量输入到嵌入层
2. 通过权重矩阵 $W$ 将其转换为稠密向量
3. 对上下文向量求平均
4. 通过另一个权重矩阵 $W’$ 映射到输出层
5. 使用 softmax 计算目标词的概率分布

损失函数采用交叉熵：
$$L = -\sum_{w \in V} y_w \log(\hat{y}_w)$$
其中 $V$ 是词汇表，$y_w$ 是真实标签，$\hat{y}_w$ 是预测概率。

CBOW vs Skip-gram:
CBOW：适合小型数据集，训练速度快，对高频词效果更好
Skip-gram：适合大型数据集，能更好处理低频词
CBOW vs GloVe:
CBOW：基于局部上下文窗口
GloVe：基于全局词共现统计

import numpy as np
from collections import defaultdict

class CBOW:
    def __init__(self, vocab_size, embedding_dim):
        # 初始化权重矩阵
        self.W1 = np.random.randn(vocab_size, embedding_dim) * 0.01
        self.W2 = np.random.randn(embedding_dim, vocab_size) * 0.01
        self.vocab_size = vocab_size

    def forward(self, X):
        # X 是上下文词的 one-hot 向量列表
        h = np.mean([self.W1.T.dot(x) for x in X], axis=0)
        u = self.W2.T.dot(h)
        y_pred = self._softmax(u)
        return y_pred, h

    def _softmax(self, x):
        e_x = np.exp(x - np.max(x))
        return e_x / e_x.sum()

    def train(self, X_train, y_train, epochs=100, lr=0.01):
        for epoch in range(epochs):
            loss = 0
            for X, y in zip(X_train, y_train):
                # 前向传播
                y_pred, h = self.forward(X)

                # 计算梯度
                e = y_pred - y
                dW2 = np.outer(h, e)
                dW1 = np.zeros_like(self.W1)

                for x in X:
                    dW1 += np.outer(x, self.W2.dot(e))

                # 更新权重
                self.W1 -= lr * dW1 / len(X)
                self.W2 -= lr * dW2

                # 计算损失
                loss += -np.sum(y * np.log(y_pred + 1e-10))

            print(f"Epoch {epoch}, Loss: {loss/len(X_train):.4f}")

关键参数设置建议：