深入解析CBOW模型的损失函数：从理论到实践

1次阅读

共计 1753 个字符，预计需要花费 5 分钟才能阅读完成。

CBOW（Continuous Bag of Words）模型是 Word2Vec 的一种实现方式，广泛应用于自然语言处理任务中，如词向量生成、文本分类等。它的核心思想是通过上下文预测当前词，从而学习到词的分布式表示。与 Skip-gram 模型相反，CBOW 模型更适合处理小型数据集和频繁出现的词汇。

CBOW 模型的损失函数是模型优化的核心。其目标是最大化给定上下文条件下目标词的概率。数学上，损失函数通常采用负对数似然（Negative Log Likelihood, NLL）形式：

$$ L = -\sum_{i=1}^{V} y_i \log(p_i) $$

其中，$y_i$ 是目标词的 one-hot 编码，$p_i$ 是模型预测的目标词概率。

Softmax 函数 ：CBOW 模型通过 Softmax 函数计算目标词的概率分布：
$$ p_i = \frac{\exp(v_i^T h)}{\sum_{j=1}^{V} \exp(v_j^T h)} $$
其中，$v_i$ 是目标词的向量表示，$h$ 是上下文的平均向量。
梯度计算 ：损失函数的梯度计算涉及 Softmax 的导数，通常通过反向传播更新词向量。

CBOW 模型的损失函数有多种变体，常见的有交叉熵损失和负采样损失。

交叉熵损失 ：
优点：理论严谨，适用于小规模词汇表。
缺点：计算复杂度高（$O(V)$），不适合大规模词汇表。
负采样损失 ：
优点：计算复杂度低（$O(k)$，$k$ 为负样本数），适合大规模数据。
缺点：需要调整负样本数量，可能影响模型质量。

以下是使用 PyTorch 实现 CBOW 模型损失函数的代码示例：

import torch
import torch.nn as nn
import torch.optim as optim

class CBOW(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(CBOW, self).__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.linear = nn.Linear(embedding_dim, vocab_size)
        self.loss_fn = nn.CrossEntropyLoss()

    def forward(self, inputs):
        # inputs: (batch_size, context_size)
        embeds = self.embeddings(inputs).mean(dim=1)  # Average context vectors
        out = self.linear(embeds)
        return out

# Example usage
model = CBOW(vocab_size=10000, embedding_dim=300)
optimizer = optim.SGD(model.parameters(), lr=0.01)

# Training loop
for epoch in range(10):
    for context, target in dataloader:
        optimizer.zero_grad()
        output = model(context)
        loss = model.loss_fn(output, target)
        loss.backward()
        optimizer.step()