CBOW模型入门指南：从理论到实践的自然语言处理基础

1次阅读

共计 1400 个字符，预计需要花费 4 分钟才能阅读完成。

在自然语言处理（NLP）中，词嵌入（Word Embedding）是将词语映射到低维连续向量空间的技术，它能捕捉词语之间的语义和语法关系。CBOW（Continuous Bag of Words）模型是一种经典的词嵌入方法，通过上下文预测当前词，适合处理大规模语料库且训练效率较高。

CBOW：通过上下文词语预测中心词，适合高频词和小型数据集，训练速度快。
Skip-gram：通过中心词预测上下文词语，适合低频词和大型数据集，捕捉更复杂的语义关系。

前向传播 ：将上下文词语的 one-hot 向量输入嵌入层，取平均后通过全连接层输出预测词的概率分布。
损失函数 ：通常使用交叉熵损失，衡量预测概率分布与实际标签的差异。
反向传播 ：通过梯度下降优化嵌入层和全连接层的权重，最小化损失函数。

import torch
import torch.nn as nn
import torch.optim as optim

class CBOW(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(CBOW, self).__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.linear = nn.Linear(embedding_dim, vocab_size)

    def forward(self, inputs):
        embeds = self.embeddings(inputs)
        avg_embeds = torch.mean(embeds, dim=1)
        out = self.linear(avg_embeds)
        return out

# 示例数据预处理
vocab = {"hello": 0, "world": 1, "python": 2}
context = torch.tensor([[0, 1]])  # "hello" 和 "world" 预测 "python"
target = torch.tensor([2])

# 训练循环
model = CBOW(len(vocab), 10)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

for epoch in range(100):
    optimizer.zero_grad()
    output = model(context)
    loss = criterion(output, target)
    loss.backward()
    optimizer.step()