深入理解CBOW模型的反向传播机制：从理论到代码实现

1次阅读

没有评论

共计 2483 个字符，预计需要花费 7 分钟才能阅读完成。

CBOW（Continuous Bag of Words）是 Word2Vec 的一种经典模型，它通过上下文词来预测当前词。对于刚接触 NLP 的同学来说，理解它的核心思想很重要：

输入层：上下文词的 one-hot 向量（比如窗口大小为 2 时，就是前后各两个词）
隐藏层：所有上下文词向量的平均值（这就是 ”Bag of Words” 的含义）
输出层：通过 softmax 计算目标词的概率分布

前向传播的数学表达很简单：

将上下文词的 one-hot 向量与词向量矩阵 W 相乘，得到各自的词向量
对这些词向量取平均，得到隐藏层向量 h
将 h 与另一个词向量矩阵 W ’ 相乘，得到输出向量 u
对 u 应用 softmax 函数，得到每个词的概率分布

用公式表示就是：

$$ h = \frac{1}{C} \sum_{c=1}^C W^T x_c $$

$$ u = W’ h $$

$$ y = \text{softmax}(u) $$

这才是真正的重头戏。我们需要理解误差是如何反向传播并更新词向量的。假设我们的损失函数是交叉熵：

$$ L = -\sum_{j=1}^V y_j \log \hat{y}_j $$

其中 y 是真实标签的 one-hot 向量，ŷ是预测的概率分布。我们需要计算损失对 W 和 W ’ 的梯度。

首先计算输出层的误差：

$$ \frac{\partial L}{\partial u} = \hat{y} – y $$

然后计算 W ’ 的梯度：

$$ \frac{\partial L}{\partial W’} = h (\hat{y} – y)^T $$

计算隐藏层的误差：

$$ \frac{\partial L}{\partial h} = W’ (\hat{y} – y) $$

最后计算 W 的梯度（对每个上下文词 x_c）：

$$ \frac{\partial L}{\partial W} = \sum_{c=1}^C x_c \left(\frac{1}{C} W’ (\hat{y} – y) \right)^T $$

这个推导过程可能看起来有点复杂，但其实核心思想就是链式法则。每一步都在计算误差如何从输出层反向传播到输入层。

理解了数学原理后，我们来看具体实现。下面是一个简化版的 CBOW 实现：

import numpy as np

class CBOW:
    def __init__(self, vocab_size, embedding_dim):
        # 初始化词向量矩阵
        self.W = np.random.randn(vocab_size, embedding_dim) * 0.01
        self.W_prime = np.random.randn(embedding_dim, vocab_size) * 0.01

    def forward(self, context_indices):
        """
        前向传播
        :param context_indices: 上下文词的索引列表
        :return: 预测的概率分布
        """
        # 获取上下文词向量
        context_vectors = self.W[context_indices, :]

        # 计算隐藏层（取平均）h = np.mean(context_vectors, axis=0)

        # 计算输出
        u = np.dot(h, self.W_prime)

        # softmax
        exp_u = np.exp(u - np.max(u))  # 数值稳定性处理
        y_pred = exp_u / np.sum(exp_u)

        return y_pred, h

    def backward(self, context_indices, target_index, y_pred, h, learning_rate=0.01):
        """
        反向传播
        :param context_indices: 上下文词索引
        :param target_index: 目标词索引
        :param y_pred: 预测的概率分布
        :param h: 隐藏层向量
        :param learning_rate: 学习率
        """
        # 构造真实标签的 one-hot 向量
        y_true = np.zeros_like(y_pred)
        y_true[target_index] = 1

        # 计算输出层误差
        delta = y_pred - y_true

        # 更新 W'
        dW_prime = np.outer(h, delta)
        self.W_prime -= learning_rate * dW_prime

        # 计算隐藏层误差
        delta_h = np.dot(self.W_prime, delta)

        # 更新 W（对每个上下文词）C = len(context_indices)
        for idx in context_indices:
            self.W[idx, :] -= learning_rate * delta_h / C

在实际实现 CBOW 时，新手容易遇到以下几个问题：