深入解析CBOW模型：手算词嵌入步骤与梯度计算实战指南

1次阅读

共计 2711 个字符，预计需要花费 7 分钟才能阅读完成。

词嵌入（Word Embedding）是自然语言处理（NLP）中的一项核心技术，它将词汇映射到低维连续向量空间，使语义相似的词在向量空间中距离较近。CBOW（Continuous Bag of Words）模型是一种经典的词嵌入方法，它通过上下文预测当前词来学习词向量。

然而，许多开发者在手动实现 CBOW 模型时，常常遇到以下困惑：

词嵌入的具体计算步骤不够清晰，尤其是在前向传播和反向传播过程中。
梯度计算较为复杂，容易在实现过程中出现错误。
模型训练效果不佳，但难以定位问题根源。

本文将针对这些问题，从零开始解析 CBOW 模型的核心实现细节，帮助开发者掌握手算词嵌入和梯度计算的关键步骤。

在词嵌入模型中，CBOW 和 Skip-gram 是两种最常见的架构。它们各有优缺点：

CBOW 模型 ：
优点：训练速度快，适合小型数据集；对频繁出现的词表现较好。
缺点：对稀有词的捕捉能力较弱；上下文信息被平均化，可能丢失部分细节。
Skip-gram 模型 ：
优点：对稀有词的表现更好；能够捕捉更复杂的语义关系。
缺点：训练速度较慢，尤其是对大型数据集。

在实际应用中，CBOW 更适合处理高频词和短文本，而 Skip-gram 更适合处理低频词和长文本。开发者可以根据任务需求选择合适的模型。

CBOW 模型的前向传播主要包括以下步骤：

输入层 ：将上下文词的 one-hot 向量作为输入。假设上下文窗口大小为 2，则输入为左右各一个词。
嵌入层 ：将 one-hot 向量与嵌入矩阵相乘，得到上下文词的词向量。嵌入矩阵的维度为 [vocab_size, embedding_dim]。
平均化 ：对上下文词的词向量取平均，得到中间表示。
输出层 ：将中间表示与输出矩阵相乘，得到预测得分（logits）。输出矩阵的维度为 [embedding_dim, vocab_size]。
Softmax：对预测得分进行 Softmax 操作，得到每个词的概率分布。

CBOW 模型的损失函数通常采用交叉熵损失（Cross-Entropy Loss）。具体计算步骤如下：

计算预测概率分布与真实标签（目标词的 one-hot 向量）的交叉熵。
对交叉熵取负对数，得到损失值。

反向传播是 CBOW 模型的核心难点，尤其是梯度计算部分。以下是关键步骤：

输出层梯度 ：计算预测概率与真实标签的差值，作为输出层的梯度。
嵌入层梯度 ：将输出层梯度与输出矩阵相乘，得到嵌入层的梯度。
更新参数 ：根据梯度下降算法，更新嵌入矩阵和输出矩阵的参数。

以下是一个简化的 Python 实现，展示了 CBOW 模型的前向传播和梯度计算过程：

import numpy as np

# 定义超参数
vocab_size = 10000  # 词汇表大小
embedding_dim = 300  # 词向量维度
learning_rate = 0.01

# 初始化嵌入矩阵和输出矩阵
W1 = np.random.randn(vocab_size, embedding_dim)  # 嵌入矩阵
W2 = np.random.randn(embedding_dim, vocab_size)  # 输出矩阵

# 前向传播
def forward(context_indices, target_index):
    # 获取上下文词的词向量
    context_vectors = W1[context_indices, :]
    # 平均化
    hidden_layer = np.mean(context_vectors, axis=0)
    # 输出层
    output_scores = np.dot(hidden_layer, W2)
    # Softmax
    exp_scores = np.exp(output_scores)
    probs = exp_scores / np.sum(exp_scores)
    # 计算损失
    loss = -np.log(probs[target_index])
    return hidden_layer, probs, loss

# 反向传播
def backward(context_indices, target_index, hidden_layer, probs):
    # 计算输出层梯度
    doutput = probs
    doutput[target_index] -= 1
    # 更新输出矩阵
    dW2 = np.outer(hidden_layer, doutput)
    # 更新嵌入层梯度
    dhidden = np.dot(W2, doutput)
    # 更新嵌入矩阵
    dW1 = np.zeros_like(W1)
    for idx in context_indices:
        dW1[idx, :] += dhidden / len(context_indices)
    return dW1, dW2

# 训练示例
context_indices = [10, 20]  # 上下文词的索引
target_index = 30  # 目标词的索引
hidden_layer, probs, loss = forward(context_indices, target_index)
dW1, dW2 = backward(context_indices, target_index, hidden_layer, probs)

# 参数更新
W1 -= learning_rate * dW1
W2 -= learning_rate * dW2

CBOW 模型的计算复杂度主要取决于词汇表大小和词向量维度。以下是性能优化的常见方法：