词嵌入特性解析：从基础概念到实战应用指南

1次阅读

共计 1753 个字符，预计需要花费 5 分钟才能阅读完成。

自然语言处理（NLP）是人工智能领域的重要分支，而词嵌入（Word Embedding）则是 NLP 中最基础也最核心的技术之一。简单来说，词嵌入就是将词语映射到一个低维连续向量空间的技术，使得语义相似的词在向量空间中的距离也更接近。这种表示方法远比传统的 one-hot 编码高效，能够捕捉词语之间的复杂语义关系。

在实际应用中，词嵌入广泛用于文本分类、情感分析、机器翻译等任务。理解词嵌入的特性，对于构建高效的 NLP 系统至关重要。

2.3 词嵌入指的是词向量具有的三种核心特性：

低维稠密性 ：相比 one-hot 的高维稀疏表示，词嵌入将词语映射到几十到几百维的稠密向量空间
语义保持性 ：语义相似的词在向量空间中距离相近
线性可计算性 ：词向量之间可以进行数学运算（如 ”king” – “man” + “woman” ≈ “queen”）

从数学角度看，词嵌入本质上是通过神经网络学习词语在上下文中的共现模式。给定一个词语序列，模型尝试预测目标词语的上下文（Skip-gram）或通过上下文预测目标词（CBOW），在此过程中自动学习到有意义的词向量表示。

目前最常用的三种词嵌入方法是：

Word2Vec：Google 提出的经典方法，包含 Skip-gram 和 CBOW 两种架构
优点：训练速度快，对小规模数据表现好
缺点：无法处理未登录词（OOV）
GloVe：斯坦福大学提出的基于全局词共现统计的方法
优点：能捕捉全局统计信息
缺点：需要构建完整的共现矩阵
FastText：Facebook 提出的考虑子词信息的方法
优点：能处理未登录词
缺点：向量维度较高

下面我们通过一个完整的 Python 示例，展示如何使用 gensim 库训练 Word2Vec 模型：

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence
import multiprocessing

# 准备语料（每行是一个已经分词的句子）corpus_file = 'corpus.txt'

# 训练参数设置
params = {
    'size': 300,       # 词向量维度
    'window': 5,       # 上下文窗口大小
    'min_count': 5,    # 忽略低频词
    'workers': multiprocessing.cpu_count(),  # 使用多核
    'sg': 1,           # 1=Skip-gram, 0=CBOW
    'hs': 0,           # 0= 负采样, 1= 层次 softmax
    'negative': 5,     # 负采样数量
    'iter': 5          # 迭代次数
}

# 训练模型
sentences = LineSentence(corpus_file)
model = Word2Vec(sentences, **params)

# 保存模型
model.save('word2vec.model')

# 使用示例
print(model.wv.most_similar('人工智能'))
print(model.wv.similarity('男人', '女人'))
print(model.wv['机器学习'])  # 获取词向量

训练词嵌入模型时，有几个关键参数会显著影响模型效果：