深入解析CBOW模型的损失函数：从理论到实践优化

1次阅读

没有评论

共计 2249 个字符，预计需要花费 6 分钟才能阅读完成。

在自然语言处理任务中，CBOW（Continuous Bag-of-Words）模型因其简单高效的特点被广泛应用。然而，许多开发者在训练过程中常遇到以下问题：

收敛速度慢 ：模型需要大量迭代才能达到可接受的准确率
梯度不稳定 ：训练过程中容易出现梯度爆炸或消失现象
预测准确率波动大 ：同样的超参数在不同数据集上表现差异显著

这些问题往往源于损失函数选择不当或实现细节处理不完善。理解并优化 CBOW 的损失函数，是提升模型性能的关键。

CBOW 模型的标准损失函数是负对数似然（Negative Log Likelihood, NLL），其数学表达式为：

$$
\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \log p(w_i|context)
$$

其中 $p(w_i|context)$ 通过 softmax 计算：

$$
p(w_i|context) = \frac{\exp(v_{w_i}^T \cdot v_{context})}{\sum_{j=1}^V \exp(v_{w_j}^T \cdot v_{context})}
$$

这个形式直观但计算成本高，因为分母需要对整个词汇表 $V$ 求和。

交叉熵损失 ：
优点：与 NLL 本质相同但数值更稳定
缺点：同样面临词汇量大时的计算瓶颈
Hinge Loss：
优点：适合处理类别不平衡数据
缺点：需要精心设计负采样策略
负采样（NEG）：
实际最常用的方案，将 softmax 转换为二分类问题
计算复杂度从 $O(V)$ 降至 $O(k)$，k 为负样本数

以下是 PyTorch 实现的优化版本，包含关键注释：

import torch
import torch.nn as nn
import torch.nn.functional as F

class CBOWLoss(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super().__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.linear = nn.Linear(embedding_dim, vocab_size)

    def forward(self, context, target, neg_samples=None):
        # context: [batch_size, context_size]
        # target: [batch_size]
        embeds = self.embeddings(context).mean(dim=1)  # [batch_size, emb_dim]

        if neg_samples is not None:  # 负采样模式
            pos_score = torch.bmm(self.embeddings(target).unsqueeze(1),
                embeds.unsqueeze(2)
            ).squeeze()

            neg_score = torch.bmm(self.embeddings(neg_samples).neg(),
                embeds.unsqueeze(2)
            ).squeeze()

            loss = -torch.mean(F.logsigmoid(pos_score)) - \
                   torch.mean(F.logsigmoid(neg_score))
        else:  # 全 softmax 模式
            logits = self.linear(embeds)
            loss = F.cross_entropy(logits, target)

        return loss

优化技巧实现：

# 带学习率调整和梯度裁剪的优化器配置
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(
    optimizer, 
    mode='min', 
    factor=0.5,
    patience=3
)

# 训练循环中的关键片段
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0)  # 梯度裁剪
optimizer.step()
scheduler.step(loss)

通过 NSML 平台的测试数据（词汇量 50k，嵌入维度 300）：