深入理解CBOW模型：从词嵌入矩阵实现到生产环境优化

1次阅读

共计 1439 个字符，预计需要花费 4 分钟才能阅读完成。

CBOW（Continuous Bag of Words）是 Word2Vec 的一种实现方式，广泛应用于自然语言处理任务中，如文本分类、情感分析等。它的核心思想是通过上下文预测当前词，从而学习到词的分布式表示。CBOW 的优势在于训练速度快，尤其适合处理大规模文本数据。

计算复杂度高：传统的 CBOW 实现需要计算整个词汇表的 softmax，这在词汇量大的情况下会变得非常耗时。
内存占用大：词嵌入矩阵的大小与词汇量成正比，当词汇量达到百万级别时，内存占用会变得非常可观。
低频词处理效果差：低频词由于在训练数据中出现次数少，其词向量往往学习不充分，导致效果不佳。

初始化两个权重矩阵：W_in（输入层到隐藏层）和W_out（隐藏层到输出层）。
W_in的维度为 (vocab_size, embedding_dim)，W_out 的维度为(embedding_dim, vocab_size)。

对于每个目标词，选取其前后 window_size 个词作为上下文。
将上下文词的 one-hot 向量相加，得到上下文向量。

负采样通过随机采样负例来近似计算 softmax，大大降低了计算复杂度。
对于每个正例（目标词），采样 k 个负例（非目标词）。
使用 sigmoid 函数计算正例和负例的概率。

import numpy as np

class CBOW:
    def __init__(self, vocab_size, embedding_dim, window_size, neg_samples):
        self.vocab_size = vocab_size
        self.embedding_dim = embedding_dim
        self.window_size = window_size
        self.neg_samples = neg_samples

        # 初始化权重矩阵
        self.W_in = np.random.randn(vocab_size, embedding_dim) * 0.01
        self.W_out = np.random.randn(embedding_dim, vocab_size) * 0.01

    def train(self, target, context_words):
        # 计算上下文向量
        context_vector = np.sum([self.W_in[word] for word in context_words], axis=0)

        # 负采样
        neg_words = np.random.choice(self.vocab_size, self.neg_samples)

        # 计算损失和梯度
        # 这里省略具体实现
        pass