序列标注任务中如何正确处理[cls][sep]及子词标签：基于CRF的实战优化方案

1次阅读

共计 1750 个字符，预计需要花费 5 分钟才能阅读完成。

在序列标注任务中，BERT 等预训练模型引入的 [cls] 和[sep]等特殊 token，以及 WordPiece 分词产生的子词(非首个 token)，常常给模型训练带来挑战。传统处理方法通常有两种：

直接忽略这些特殊 token 和子词的标签
随机初始化这些位置的标签

这两种方法都存在明显问题。直接忽略会导致 CRF 层在训练时看到不完整的序列，影响转移矩阵的学习；而随机初始化则可能引入噪声，干扰模型收敛。我们在 CoNLL2003 英文 NER 数据集上的实验表明，这两种方法会导致 F1 值下降 2 - 3 个百分点。

不同模型架构对特殊 token 和子词的处理方式差异很大：

纯 BERT 模型：
通常直接忽略 [cls] 和[sep]的预测
对子词采用平均池化或取第一个 token 的策略
BERT+BiLSTM：
可以手动屏蔽特殊 token 的损失
但对子词处理不够优雅，常导致信息丢失
BERT+CRF：
需要特别处理特殊 token 的转移概率
我们的方案能最自然地融入 CRF 的序列建模优势

我们的解决方案包含三个关键步骤：

标签强制设置为 -100：
对 [cls]、[sep] 以及子词 (非首个 token) 的标签统一设为 -100
PyTorch 的 CrossEntropyLoss 会自动忽略标签为 -100 的位置
CRF 转移矩阵掩码处理：
修改 CRF 层的 allowed_transitions
禁止从 / 向特殊标签 (-100) 的转移
评估阶段过滤：
在计算指标时自动跳过这些特殊位置
确保评估结果反映真实性能

以下是 PyTorch 实现的关键代码片段：

# Tokenizer 处理及标签生成
def prepare_labels(tokens, labels, tokenizer):
    """
    处理子词对齐并生成带 -100 的标签
    tokens: tokenizer 输出的 token 列表
    labels: 原始标签列表
    """
    processed_labels = []
    word_ids = tokenizer(tokens).word_ids()

    for i, word_id in enumerate(word_ids):
        if word_id is None:  # [CLS]/[SEP]
            processed_labels.append(-100)
        elif word_id != word_ids[i-1]:  # 当前词的首个 token
            processed_labels.append(labels[word_id])
        else:  # 子词的非首个 token
            processed_labels.append(-100)
    return processed_labels

# CRF 层改造
class ImprovedCRF(nn.Module):
    def __init__(self, num_tags):
        super().__init__()
        self.num_tags = num_tags
        self.transitions = nn.Parameter(torch.randn(num_tags, num_tags))
        # 屏蔽非法转移
        self.transitions.data[-100, :] = -1e10  # 不能从 -100 转移
        self.transitions.data[:, -100] = -1e10  # 不能转移到 -100

我们在 CoNLL2003 英文 NER 数据集上进行了对比实验：