深入解析CBOW模型的词嵌入矩阵训练过程：从原理到实现

1次阅读

共计 2229 个字符，预计需要花费 6 分钟才能阅读完成。

词嵌入是自然语言处理（NLP）中的核心技术之一，它将词语映射到低维连续向量空间，使得语义相似的词在向量空间中距离相近。CBOW（Continuous Bag of Words）模型是词嵌入的经典实现之一，由 Mikolov 等人在 2013 年提出。与 Skip-gram 模型不同，CBOW 模型通过上下文词预测中心词，特别适合处理小型数据集。

CBOW 模型的核心架构包括输入层、隐藏层和输出层。输入层接收上下文词的 one-hot 编码，隐藏层通过权重矩阵计算上下文词向量的平均值，输出层通过另一个权重矩阵计算中心词的概率分布。

输入层到隐藏层的权重矩阵计算 ：
输入层是一个大小为 V 的 one-hot 向量（V 是词汇表大小）。
隐藏层是一个大小为 N 的向量（N 是嵌入维度）。
输入层到隐藏层的权重矩阵 W 是一个 V×N 的矩阵，每一行对应一个词的嵌入向量。
隐藏层的输出是上下文词向量的平均值。
隐藏层到输出层的权重矩阵计算 ：
输出层是一个大小为 V 的向量，表示中心词的概率分布。
隐藏层到输出层的权重矩阵 W ’ 是一个 N×V 的矩阵。
输出层的计算涉及 softmax 函数，但实际训练中常使用负采样优化。

上下文窗口处理 ：
CBOW 模型通过滑动窗口获取上下文词。例如，窗口大小为 2 时，上下文词包括中心词左右各 2 个词。
上下文词的数量和窗口大小会影响模型性能。
负采样优化 ：
传统的 softmax 计算复杂度高，负采样通过采样少量负样本（非目标词）来近似优化目标。
负采样的概率分布通常与词频相关，高频词更容易被采样为负样本。

以下是一个简化版 CBOW 模型的 Python 实现，使用 NumPy 库：

import numpy as np

# 参数设置
vocab_size = 1000  # 词汇表大小
embedding_dim = 100  # 嵌入维度
window_size = 2  # 上下文窗口大小
learning_rate = 0.01  # 学习率

# 初始化权重矩阵
W1 = np.random.randn(vocab_size, embedding_dim)  # 输入层到隐藏层
W2 = np.random.randn(embedding_dim, vocab_size)  # 隐藏层到输出层

# 训练函数
def train_cbow(context_words, target_word):
    # 上下文词的 one-hot 编码
    context_vectors = np.zeros((len(context_words), vocab_size))
    for i, word in enumerate(context_words):
        context_vectors[i, word] = 1

    # 隐藏层计算：上下文词向量的平均值
    hidden_layer = np.mean(np.dot(context_vectors, W1), axis=0)

    # 输出层计算
    output = np.dot(hidden_layer, W2)

    # 计算损失（使用负采样简化）loss = -output[target_word] + np.log(np.sum(np.exp(output)))

    # 反向传播
    grad_output = np.exp(output) / np.sum(np.exp(output))
    grad_output[target_word] -= 1

    grad_W2 = np.outer(hidden_layer, grad_output)
    grad_hidden = np.dot(grad_output, W2.T)

    grad_W1 = np.zeros_like(W1)
    for i, word in enumerate(context_words):
        grad_W1[word, :] += grad_hidden / len(context_words)

    # 更新权重
    W1 -= learning_rate * grad_W1
    W2 -= learning_rate * grad_W2

    return loss

# 示例训练数据
context_words = [1, 2, 3, 4]  # 上下文词的索引
target_word = 5  # 目标词的索引

# 训练一步
loss = train_cbow(context_words, target_word)
print(f"Loss: {loss}")