深入解析CBOW模型的损失函数：从理论到实践

1次阅读

共计 2330 个字符，预计需要花费 6 分钟才能阅读完成。

CBOW（Continuous Bag-of-Words）模型是 Word2Vec 的一种经典实现，广泛应用于自然语言处理（NLP）领域。它的核心思想是通过上下文预测当前词，从而学习到单词的分布式表示（词向量）。CBOW 模型因其简单高效，成为词嵌入（Word Embedding）技术的基石之一。

应用场景：CBOW 模型常用于文本分类、机器翻译、情感分析等任务的前期词向量训练。
核心优势：相比于 Skip-gram 模型，CBOW 对高频词的处理更优，训练速度更快。

CBOW 模型的损失函数是模型优化的核心，通常采用负对数似然损失（Negative Log-Likelihood, NLL）或交叉熵损失（Cross-Entropy Loss）。其数学形式如下：

$$
\mathcal{L} = -\sum_{w \in V} y_w \log(\hat{y}_w)
$$

其中：
– (V) 是词汇表。
– (y_w) 是真实标签（one-hot 编码）。
– (\hat{y}_w) 是模型预测的当前词的概率分布。

Softmax 函数：CBOW 的输出层通常使用 Softmax 函数将分数转换为概率分布。
计算复杂度：直接计算全词汇表的 Softmax 非常昂贵，尤其是在词汇量大的情况下。

CBOW 模型的损失函数优化通常有以下几种方式：

标准 Softmax：计算复杂度高，但理论最优。
负采样（Negative Sampling）：通过采样少量负样本近似全词汇表的 Softmax，显著提升训练速度。
分层 Softmax（Hierarchical Softmax）：通过构建二叉树减少计算量，适合大规模词汇表。

方法	计算复杂度	适用场景	优缺点
标准 Softmax	(O(	V	))
负采样	(O(k))	大规模词汇表	速度快，近似效果好
分层 Softmax	(O(\log	V	))

以下是一个使用负采样实现 CBOW 损失函数的 Python 代码示例：

import tensorflow as tf

class CBOWWithNegativeSampling(tf.keras.Model):
    def __init__(self, vocab_size, embedding_dim, num_ns):
        super().__init__()
        self.target_embedding = tf.keras.layers.Embedding(vocab_size, embedding_dim)
        self.context_embedding = tf.keras.layers.Embedding(vocab_size, embedding_dim)
        self.num_ns = num_ns  # 负样本数量

    def call(self, inputs):
        target, context = inputs
        # 正样本嵌入
        target_emb = self.target_embedding(target)  # shape: (batch_size, embedding_dim)
        context_emb = self.context_embedding(context)  # shape: (batch_size, embedding_dim)
        # 计算正样本得分
        positive_score = tf.reduce_sum(target_emb * context_emb, axis=1)
        positive_loss = tf.math.log_sigmoid(positive_score)
        # 生成负样本
        negative_samples = tf.random.uniform(shape=(self.num_ns,), maxval=vocab_size, dtype=tf.int64)
        negative_emb = self.context_embedding(negative_samples)  # shape: (num_ns, embedding_dim)
        # 计算负样本得分
        negative_score = tf.matmul(target_emb, negative_emb, transpose_b=True)
        negative_loss = tf.math.log_sigmoid(-negative_score)
        # 总损失
        total_loss = -tf.reduce_mean(positive_loss + tf.reduce_sum(negative_loss, axis=1))
        return total_loss