深入理解CBOW模型：从词嵌入矩阵实现到生产环境优化

1次阅读

共计 1562 个字符，预计需要花费 4 分钟才能阅读完成。

CBOW（Continuous Bag of Words）是 Word2Vec 的一种经典实现方式，它在自然语言处理中广泛用于词向量的生成。与 Skip-Gram 模型不同，CBOW 通过上下文预测当前词，特别适合处理大规模语料库。它的优势在于：

对高频词处理效果好
训练速度相对较快
生成的词向量具有较好的线性特性

在实际项目中，我们发现传统 CBOW 实现存在几个主要问题：

计算复杂度高：全连接层的 softmax 计算随着词汇量增加呈指数级增长
内存占用大：需要存储整个词嵌入矩阵和权重矩阵
低频词处理效果差：长尾词汇难以得到充分训练

词嵌入矩阵是 CBOW 的核心组件，它负责将离散的单词索引转换为连续的向量表示。具体实现步骤：

初始化一个 V×D 的矩阵，其中 V 是词汇表大小，D 是词向量维度
使用 Xavier 初始化方法设置初始值
通过上下文窗口获取输入词的 one-hot 编码

import numpy as np

class CBOW:
    def __init__(self, vocab_size, embedding_dim):
        self.embedding = np.random.randn(vocab_size, embedding_dim) * 0.01
        self.W1 = np.random.randn(embedding_dim, vocab_size) * 0.01
        self.b1 = np.zeros(vocab_size)

上下文窗口的选择直接影响模型效果，实践中我们需要注意：

窗口大小通常取 5 -10
边界处理：当当前词位于句首 / 句尾时的特殊处理
加权策略：可以给距离近的词赋予更大权重

负采样是解决 softmax 计算瓶颈的关键技术，其核心思想是：

对每个正样本，随机采样 K 个负样本
只更新这些样本对应的权重
使用 sigmoid 替代 softmax 进行分类

def negative_sampling_loss(predictions, targets, neg_samples=5):
    pos_loss = -np.log(sigmoid(predictions[targets]))
    neg_loss = -np.sum(np.log(1 - sigmoid(predictions[neg_samples])), axis=0)
    return pos_loss + neg_loss

通过实验我们发现：