CLS Token 原理解析与实现：从BERT论文到实践应用

1次阅读

共计 1536 个字符，预计需要花费 4 分钟才能阅读完成。

CLS Token（Classification Token）是 BERT 等 Transformer 模型中的特殊设计，它位于输入序列的最前端（通常表示为[CLS]），在句子级别的分类任务中扮演着至关重要的角色。它的设计初衷在 BERT 的原始论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中有明确说明：作为一个聚合整个序列信息的特殊标记，用于下游分类任务。

论文中的关键论述：BERT 作者在论文 3.1 节提到，CLS Token 的最终隐藏状态被用作分类任务的聚合序列表示。这是因为 Transformer 的自注意力机制能够全局捕捉序列中所有位置的上下文信息，而 CLS Token 作为序列的 ” 代表 ”，自然承载了这种全局特征。
与传统 Pooling 的对比：
均值 / 最大 Pooling：需要对整个序列的隐藏状态进行平均或取最大值，计算开销较大
CLS Token：直接使用第一个位置的向量，效率更高且专为分类任务优化
实验表明，在同等条件下，CLS Token 通常比传统 Pooling 方法有 1 -2% 的准确率提升

以下是使用 PyTorch 和 HuggingFace Transformers 库提取 CLS Token 的完整示例：

from transformers import BertModel, BertTokenizer
import torch

# 1. 加载预训练模型和分词器
model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 2. 准备输入文本
text = "This is a sample sentence for CLS token demonstration."
inputs = tokenizer(text, return_tensors='pt')  # 自动添加 [CLS] 和[SEP]

# 3. 前向传播
with torch.no_grad():
    outputs = model(**inputs)

# 4. 提取 CLS Token (位置 0 的隐藏状态)
cls_embedding = outputs.last_hidden_state[:, 0, :]  # 形状: [batch_size, hidden_size]
print(f"CLS Token 维度: {cls_embedding.shape}")