从零理解[cls]词嵌入：NLP新手入门指南与实战代码解析

1次阅读

共计 2575 个字符，预计需要花费 7 分钟才能阅读完成。

在自然语言处理（NLP）领域，词嵌入（Word Embedding）是一种将词语映射到连续向量空间的技术。传统的词向量方法，如 Word2Vec 和 GloVe，生成的词向量是静态的，即每个词在不同上下文中具有相同的向量表示。这种方法的局限性在于无法处理一词多义的现象，例如“苹果”在“吃苹果”和“苹果手机”中的含义不同，但传统词向量无法区分这两种情况。

Transformer 架构通过引入自注意力机制（Self-Attention）解决了这一问题。在 Transformer 模型中，词向量的生成依赖于上下文，因此同一个词在不同语境下会有不同的向量表示。BERT（Bidirectional Encoder Representations from Transformers）作为 Transformer 架构的代表模型之一，进一步通过双向上下文建模提升了词嵌入的质量。

以下是 Word2Vec/GloVe 与 [cls] 词嵌入在语义表征上的主要差异：

特性	Word2Vec/GloVe	[cls]词嵌入
上下文相关性	无	有
一词多义处理	弱	强
向量生成方式	静态	动态
适用任务	词相似度、分类任务	句子级任务、分类任务

以下代码演示了如何使用 HuggingFace 的 transformers 库从 BERT 模型中提取 [cls] 向量：

from transformers import BertModel, BertTokenizer
import torch

# 初始化 tokenizer 和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased', return_dict=True)

# 输入文本
text = "This is an example sentence."

# Tokenize 输入文本
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

# 生成 attention mask
attention_mask = inputs['attention_mask']

# 前向传播，获取模型输出
outputs = model(**inputs)

# 提取 [cls] 向量（即第一个 token 的向量）cls_embedding = outputs.last_hidden_state[:, 0, :]

print(cls_embedding.shape)  # 输出: torch.Size([1, 768])

return_dict=True：确保模型输出以字典形式返回，便于访问特定字段（如last_hidden_state）。
return_tensors="pt"：指定返回 PyTorch 张量。
padding=True和truncation=True：自动处理输入文本的填充和截断，确保输入长度一致。
attention_mask：用于指示哪些 token 是实际文本，哪些是填充的 token。

在微调 BERT 模型时，下游任务的输出维度可能与 BERT 的 hidden_size（通常为 768）不匹配。解决方案是在 BERT 模型后添加一个适配层（Adapter Layer）：

import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, hidden_size=768, output_size=256):
        super(Adapter, self).__init__()
        self.linear = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        return self.linear(x)

adapter = Adapter(hidden_size=768, output_size=256)
cls_adapted = adapter(cls_embedding)

在多语言任务中，不同语言的词嵌入可能位于不同的向量空间中。可以使用以下方法对齐：

跨语言模型：使用预训练的多语言 BERT（如bert-base-multilingual-cased）。
后处理对齐：对嵌入向量进行线性变换，使其映射到同一空间。

BERT 模型由多个 Transformer 层组成，不同层的 [cls] 向量可能具有不同的语义表达能力。可以通过以下实验对比：

# 获取所有层的隐藏状态
outputs = model(**inputs, output_hidden_states=True)
all_layers = outputs.hidden_states  # 包含所有层的输出

# 对比不同层的 [cls] 向量
for i, layer in enumerate(all_layers):
    cls_layer = layer[:, 0, :]
    print(f"Layer {i}: {cls_layer.mean().item():.4f}")

使用 PCA（主成分分析）对 [cls] 向量降维后可视化：

from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

# 假设 embeddings 是多个 [cls] 向量的集合
pca = PCA(n_components=2)
embeddings_2d = pca.fit_transform(embeddings)

plt.scatter(embeddings_2d[:, 0], embeddings_2d[:, 1])
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

本文介绍了 [cls] 词嵌入的核心原理、实现方法及常见问题的解决方案。以下是三个引导性问题，供读者进一步思考：