深入解析CBOW模型的词嵌入矩阵训练过程：从原理到实现

1次阅读

共计 1607 个字符，预计需要花费 5 分钟才能阅读完成。

词嵌入是自然语言处理（NLP）中的一项基础技术，它将词语映射到连续向量空间，使得具有相似语义的词语在向量空间中距离更近。CBOW（Continuous Bag of Words）模型是词嵌入技术中最经典的实现之一，由 Mikolov 等人在 2013 年提出。与 Skip-gram 模型不同，CBOW 模型通过上下文词语预测中心词，适用于处理大规模语料库时的快速训练。

CBOW 模型的核心思想是利用上下文词语的加权平均来预测中心词。其架构主要包括输入层、隐藏层和输出层。

输入层到隐藏层的权重矩阵计算 ：输入层由上下文词语的 one-hot 编码组成，通过一个权重矩阵（即词嵌入矩阵）映射到隐藏层。这个权重矩阵的行对应于词汇表中的词语，列对应于嵌入向量的维度。
隐藏层到输出层的权重矩阵计算 ：隐藏层的输出通过另一个权重矩阵映射到输出层，输出层通过 softmax 函数计算每个词语作为中心词的概率。

CBOW 模型通过滑动窗口从语料中提取上下文。例如，对于句子 ”the quick brown fox jumps”，窗口大小为 2 时，中心词 ”brown” 的上下文为 [“the”, “quick”, “fox”, “jumps”]。

负采样（Negative Sampling）是一种优化技术，用于解决 softmax 计算复杂度高的问题。它通过随机采样负样本（非目标词）来简化损失函数的计算，从而加速训练。

以下是一个简化版 CBOW 模型的 Python 实现，使用 NumPy 库：

import numpy as np

# 定义词汇表
vocab = ['the', 'quick', 'brown', 'fox', 'jumps']
vocab_size = len(vocab)
embedding_dim = 10

# 初始化词嵌入矩阵
embedding_matrix = np.random.rand(vocab_size, embedding_dim)

# 定义上下文窗口大小
window_size = 2

# 示例输入：中心词为 'brown'，上下文为 ['the', 'quick', 'fox', 'jumps']
context_indices = [vocab.index(word) for word in ['the', 'quick', 'fox', 'jumps']]
center_index = vocab.index('brown')

# 计算上下文向量的平均
context_vectors = embedding_matrix[context_indices]
average_context = np.mean(context_vectors, axis=0)

# 预测中心词
output = np.dot(embedding_matrix, average_context)

# 计算 softmax
softmax_output = np.exp(output) / np.sum(np.exp(output))

print("预测概率:", softmax_output)