深入解析CBOW模型：手算词嵌入步骤与梯度计算实战

1次阅读

共计 1937 个字符，预计需要花费 5 分钟才能阅读完成。

CBOW（Continuous Bag-of-Words）模型是一种经典的词嵌入方法，通过上下文单词预测中心词来学习词向量。它的核心思想是：给定一个中心词周围的上下文窗口，模型尝试预测这个中心词。与 Skip-gram 模型不同，CBOW 是从多个上下文词预测一个目标词，这使得它在处理小型数据集时通常表现更好。

CBOW 模型主要由以下组件构成：

输入层：上下文单词的 one-hot 编码
投影层：将 one-hot 向量映射到低维稠密向量（词嵌入）
输出层：通过 softmax 计算预测词的概率分布

构建词汇表：首先确定词汇表大小 V，为每个单词分配唯一索引
初始化词向量矩阵：创建两个矩阵 W（输入矩阵，维度 V×d）和 W ’（输出矩阵，维度 d×V），d 是词向量维度
前向传播计算：
将上下文单词的 one-hot 向量与 W 相乘得到词向量
计算上下文词向量的平均值
将平均值向量与 W ’ 相乘得到得分向量
应用 softmax 函数得到预测概率分布

数学推导示例：

假设上下文窗口大小为 2，目标词为 w_t，上下文词为 w_{t-1} 和 w_{t+1}。计算过程如下：

h = (v_{w_{t-1}} + v_{w_{t+1}})/2
u_j = v’{w_j}^T h
y_j = \frac{exp(u_j)}{\sum}^V exp(u_i)

CBOW 模型的训练使用负对数似然作为损失函数：

L = -log P(w_t|w_{t-1}, w_{t+1})

梯度计算涉及链式法则：

计算 softmax 层的梯度
反向传播到输出矩阵 W ’
反向传播到隐藏层 h
更新输入矩阵 W

优化技巧包括：

使用负采样替代完整的 softmax 计算
采用分层 softmax 加速训练
实现自适应学习率

import numpy as np
from collections import defaultdict

class CBOW:
    def __init__(self, vocab_size, embedding_dim):
        # 初始化权重矩阵
        self.W1 = np.random.randn(vocab_size, embedding_dim) * 0.01
        self.W2 = np.random.randn(embedding_dim, vocab_size) * 0.01

    def forward(self, context_indices):
        """
        前向传播
        :param context_indices: 上下文单词索引列表
        :return: 预测概率分布
        """
        # 获取上下文词向量并求平均
        h = np.mean(self.W1[context_indices], axis=0)

        # 计算得分
        u = np.dot(h, self.W2)

        # softmax
        exp_u = np.exp(u - np.max(u))  # 数值稳定处理
        y = exp_u / np.sum(exp_u)

        return y, h

    def backward(self, context_indices, target_idx, learning_rate=0.01):
        """反向传播"""
        y, h = self.forward(context_indices)

        # 计算梯度
        grad = y.copy()
        grad[target_idx] -= 1  # softmax 梯度

        # 更新 W2
        dW2 = np.outer(h, grad)

        # 更新 W1
        dW1 = np.zeros_like(self.W1)
        for i in context_indices:
            dW1[i] += np.dot(self.W2, grad)

        # 参数更新
        self.W1 -= learning_rate * dW1 / len(context_indices)
        self.W2 -= learning_rate * dW2