深入解析CLS Token：从原始论文到BERT实践中的关键作用

1次阅读

共计 2559 个字符，预计需要花费 7 分钟才能阅读完成。

CLS（Classification）Token 最早出现在 Google 的 BERT 论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中。论文中明确指出，CLS Token 是一个在输入序列开头添加的特殊标记，其对应的最终隐藏状态被用作分类任务的聚合序列表示。

原始论文设计要点：
位置固定：始终位于输入序列的第一个位置
无实际语义：与常规单词标记不同，不携带具体文本含义
全局信息聚合：通过自注意力机制收集整个序列的上下文信息
设计哲学：
为下游任务提供统一的接口
避免对特定位置特征的依赖（相比传统 Pooling 方式）
使模型能够学习任务相关的聚合方式

在 BERT 等 Transformer 架构中，CLS Token 通过以下方式发挥作用：

输入处理阶段：
在 tokenization 时自动添加 [CLS] 标记
与其他 token 一同参与 embedding 计算
获得独立的位置编码（position 0）
注意力机制中的表现：
作为 query 向量参与所有层的注意力计算
通过多头注意力收集全局上下文信息
各层 Transformer 逐步提炼序列的抽象表示
输出特征特性：
最后一层 CLS 位置的 hidden state 作为序列表示
包含经过深度双向编码的上下文信息
特别适合作为分类器的输入特征

文本分类标准流程：
取最后一层 CLS 位置的 hidden state
接全连接层 +softmax 进行分类

示例代码片段：

outputs = model(input_ids)
cls_embedding = outputs.last_hidden_state[:, 0, :]  # 取 CLS 位置
logits = classifier(cls_embedding)

优势体现：
避免手动设计 pooling 策略
模型可学习最优的信息聚合方式
在 GLUE 基准测试中表现优异

典型处理方式：
使用每个 token 对应的输出（忽略 CLS）

示例 NER 任务代码：

outputs = model(input_ids)
token_embeddings = outputs.last_hidden_state[:, 1:, :]  # 跳过 CLS

原因分析：
需要 token 级别的细粒度预测
CLS 的全局特性反而可能引入噪声
原始论文未推荐在此类任务中使用

下面展示一个完整的文本分类实现，包含 CLS Token 的正确处理：

import torch
import torch.nn as nn
from transformers import BertModel, BertTokenizer

class BertClassifier(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(768, num_classes)  # BERT hidden_size=768

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(
            input_ids=input_ids,
            attention_mask=attention_mask
        )
        # 关键步骤：正确提取 CLS 向量
        pooled_output = outputs.last_hidden_state[:, 0, :]  # 取第一个位置
        pooled_output = self.dropout(pooled_output)
        return self.classifier(pooled_output)

# 使用示例
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertClassifier(num_classes=2)

# 模拟输入处理
texts = ["This is a positive example", "Negative sentence here"]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")

# 前向传播
with torch.no_grad():
    logits = model(inputs['input_ids'], inputs['attention_mask'])
predictions = torch.argmax(logits, dim=1)
print(f"Predictions: {predictions}")