CLS Token的优势解析：从原理到最佳实践

1次阅读

共计 1755 个字符，预计需要花费 5 分钟才能阅读完成。

在 BERT 等 Transformer 模型中，CLS（Classification）Token 是预先添加到输入序列首位的特殊标记。其核心作用是聚合整个序列的语义信息，常用于下游分类任务。常见误区包括：

误认为 CLS Token 仅是普通分隔符
直接使用未经微调的 CLS 向量作为特征
忽视其位置编码对效果的影响

平均池化 (Mean Pooling)：
平等对待所有 token 的向量表示
容易受无关词干扰（如停用词）
代码示例计算复杂度 O(n)
最大池化 (Max Pooling)：
提取每个特征维度的最大值
适合突出显著特征但丢失上下文
CLS Token 机制 ：
通过 Self-Attention 动态聚合信息
数学表达式：$h_{cls} = \text{LayerNorm}(\sum_{i=1}^n \alpha_i h_i)$
其中 $\alpha_i$ 由注意力权重决定

在 STS- B 语义相似度任务上的对比实验：
| 方法 | Spearman 相关系数 |
|————|——————|
| CLS Token | 0.852 |
| Mean Pool | 0.827 |
| Max Pool | 0.813 |
注意力可视化显示：
CLS Token 会重点关注句子的情感词（如 ”great”, “terrible”）和转折词（如 ”but”）

from transformers import BertModel, BertTokenizer
import torch

model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

inputs = tokenizer("This is a demo sentence", return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

# 获取 CLS 向量（索引 0 对应 CLS 位置）cls_embedding = outputs.last_hidden_state[:, 0, :]

import tensorflow as tf
from transformers import TFBertModel, BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = TFBertModel.from_pretrained('bert-base-uncased')

inputs = tokenizer("This is a demo sentence", return_tensors="tf")
outputs = model(**inputs)

# 获取 CLS 向量
cls_embedding = tf.gather(outputs.last_hidden_state, [0], axis=1)