深入解析Word2Vec：从词嵌入原理到NLP实战应用

1次阅读

共计 2815 个字符，预计需要花费 8 分钟才能阅读完成。

在自然语言处理（NLP）领域，如何有效地表示单词一直是核心问题。传统的词表示方法主要有两种：

One-hot 编码：每个词用一个很长的向量表示，向量维度等于词汇表大小，只有对应词的位置为 1，其余为 0。这种方法简单但无法捕捉词与词之间的关系，且维度灾难问题严重。
分布式表示：通过低维稠密向量表示词，语义相似的词在向量空间中距离较近。Word2Vec 就是这种方法的典型代表，由 Google 在 2013 年提出，极大推动了 NLP 的发展。

Word2Vec 的核心思想是：一个词的语义可以由它的上下文决定。基于这一思想，Word2Vec 提出了两种模型架构：Skip-gram 和 CBOW。

Skip-gram 的目标是通过中心词预测上下文词。例如对于句子 ”I love natural language processing”，如果中心词是 ”natural”，Skip-gram 尝试预测 ”love” 和 ”language”。

其数学原理是最大化以下对数似然函数：

$$
\frac{1}{T}\sum_{t=1}^{T}\sum_{-c\leq j\leq c,j\neq 0}\log p(w_{t+j}|w_t)
$$

其中 c 是上下文窗口大小，T 是语料库中的词总数。

CBOW(Continuous Bag-of-Words)与 Skip-gram 相反，它通过上下文词预测中心词。对于同样的例子，CBOW 会用 ”love” 和 ”language” 来预测 ”natural”。

CBOW 的训练目标是：

$$
\frac{1}{T}\sum_{t=1}^{T}\log p(w_t|w_{t-c},…,w_{t+c})
$$

特性	Skip-gram	CBOW
训练速度	较慢	较快
数据量需求	小数据表现好	需要更多数据
适用场景	生僻词处理	高频词预测
效果	通常更优	在大语料下也不错

负采样(Negative Sampling)：
原始 softmax 计算开销大，负采样只更新一小部分负样本的权重
显著提升训练速度，特别是大词汇表场景
层次 Softmax(Hierarchical Softmax)：
使用霍夫曼树组织词汇表
将计算复杂度从 O(V)降到 O(logV)
适合处理低频词

下面是一个完整的 Python 示例，展示如何使用 gensim 库训练 Word2Vec 模型：

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence
import multiprocessing

# 1. 准备语料(假设已经预处理并保存在 corpus.txt 中，每行一个句子，词语空格分隔)
corpus_file = 'corpus.txt'

# 2. 模型训练
# 参数说明：# sentences: 输入语料
# size: 词向量维度
# window: 上下文窗口大小
# min_count: 忽略词频低于此值的词
# workers: 并行线程数
# sg: 1 表示 Skip-gram, 0 表示 CBOW
# hs: 1 表示使用层次 softmax, 0 表示不使用
# negative: 负采样数量(如果 hs=0)
model = Word2Vec(sentences=LineSentence(corpus_file),
    vector_size=300,
    window=5,
    min_count=5,
    workers=multiprocessing.cpu_count(),
    sg=1,
    hs=0,
    negative=5,
    epochs=10
)

# 3. 保存模型
model.save('word2vec.model')

# 4. 加载模型
model = Word2Vec.load('word2vec.model')

# 5. 使用示例
# 获取词向量
vector = model.wv['computer']

# 找出最相似的词
similar_words = model.wv.most_similar('computer', topn=5)

# 计算两个词的相似度
similarity = model.wv.similarity('computer', 'laptop')

训练好的 Word2Vec 词向量可以用于提升文本分类任务的性能。下面是基本流程：

使用 Word2Vec 训练词向量
对文本中的每个词获取其词向量
聚合词向量 (平均、加权平均等) 得到文档向量
将文档向量输入分类器(如 SVM、神经网络)

代码示例：

import numpy as np
from sklearn.svm import SVC

# 假设 documents 是文档列表，每个文档是词语列表
# labels 是对应的类别标签
document_vectors = []
for doc in documents:
    vectors = [model.wv[word] for word in doc if word in model.wv]
    if vectors:
        doc_vector = np.mean(vectors, axis=0)
        document_vectors.append(doc_vector)
    else:
        document_vectors.append(np.zeros(model.vector_size))

# 训练分类器
classifier = SVC()
classifier.fit(document_vectors, labels)

问题：低频词由于训练样本少，词向量质量差。

解决方案：
– 降低 min_count 参数，保留更多低频词
– 使用 subword 信息(FastText 扩展)
– 领域自适应：在领域语料上继续训练

问题：向量维度如何确定？

经验法则：
– 小语料(百万词以下)：50-100 维
– 中等语料(百万到十亿词)：200-300 维
– 大语料(十亿词以上)：300-500 维

问题：语料中的噪声影响模型效果。

解决方案：
– 预处理：去除标点、停用词、拼写纠正
– 领域适配：使用领域相关语料
– 数据平衡：确保各主题数据均衡

Word2Vec 的训练时间和内存消耗主要受以下因素影响：