深入解析 [cls] token 在 Transformer 模型中的核心作用与优化实践

1次阅读

共计 1442 个字符，预计需要花费 4 分钟才能阅读完成。

[cls] token 是 Transformer 模型中的一个特殊标记，全称为 “classification token”。它通常被添加到输入序列的最前面，用于聚合整个序列的信息，特别适合分类任务。在 BERT、RoBERTa 等预训练模型中，[cls] token 的输出向量常被用作整个句子的表示。

位置编码 ：作为序列的第一个 token，[cls] 会获得独特的位置编码
自注意力机制 ：可以关注到输入序列中的所有其他 token
输出表示 ：最后一层 [cls] 的隐藏状态通常被用作分类特征

开发者在使用 [cls] token 时经常会遇到以下问题：

错误地认为 [cls] 的位置不重要，随意放置
过度依赖 [cls] 而忽略其他 token 的信息
不注意预训练和微调时的处理一致性
对 [cls] 在不同模型中的表现差异缺乏认知

[cls] 策略 ：直接使用最后一个隐藏层的 [cls] 向量
Mean-pooling：对所有 token 的隐藏状态取平均
Max-pooling：取所有 token 隐藏状态的最大值

实验表明，对于短文本分类，[cls] 通常表现更好；而对于长文本，mean-pooling 可能更稳定。

调整学习率：对 [cls] 相关的参数使用稍大的学习率
分层解冻：先微调高层，再逐步解冻底层
添加额外分类层：在 [cls] 输出后增加小的 MLP

import torch
from transformers import BertModel, BertTokenizer

# 初始化模型和分词器
model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 准备输入
text = "This is a sample sentence for [cls] demonstration."
inputs = tokenizer(text, return_tensors="pt")

# 前向传播
with torch.no_grad():
    outputs = model(**inputs)

# 获取 [cls] token 的特征
cls_embedding = outputs.last_hidden_state[:, 0, :]  # 第一个 token 就是 [cls]
print(f"[cls] token embedding shape: {cls_embedding.shape}")

当对 Transformer 模型进行压缩（如量化、剪枝）时，需要特别注意 [cls] token：