NLP实战：如何正确处理[cls]和[sep]标签的CRF训练与评估

1次阅读

共计 2040 个字符，预计需要花费 6 分钟才能阅读完成。

在序列标注任务中，BERT 等预训练模型通常会添加特殊标记 [CLS] 和[SEP]。这些标记本身不携带语义信息，但在模型处理中却占据了重要位置。同时，基于 WordPiece 或 BPE 的子词切分算法会产生子词片段，其中非首个 token 也面临类似的标签分配问题。

传统处理方法往往简单忽略这些标记，但这可能导致两个问题：

CRF 层在转移概率计算时仍会考虑这些无效标记
评估指标计算可能因包含这些标记而失真

实践中常见三种处理方式：

方案 A：完全忽略这些标记
优点：实现简单
缺点：CRF 转移矩阵学习会受干扰
方案 B：保留原始标签
优点：信息完整
缺点：可能学习到无意义的转移模式
方案 C：设为 -100（PyTorch 的忽略索引）
优点：训练时自动跳过，评估时方便过滤
缺点：需要额外处理逻辑

以下是基于 HuggingFace Transformers 和 PyTorch-CRF 的实现方案：

from transformers import AutoTokenizer, AutoModel
from torchcrf import CRF
import torch

# 1. 数据预处理
def preprocess_labels(labels, input_ids, tokenizer):
    """
    处理特殊标记和子词的标签分配
    :param labels: 原始标签序列
    :param input_ids: tokenized 后的输入 ID
    :param tokenizer: 分词器实例
    :return: 处理后的标签序列
    """
    processed_labels = []
    word_ids = tokenizer.convert_ids_to_tokens(input_ids)

    for i, (word_id, label) in enumerate(zip(word_ids, labels)):
        if word_id in ['[CLS]', '[SEP]']:
            processed_labels.append(-100)  # 特殊标记设为 -100
        elif word_id.startswith('##'):  # 子词标记
            processed_labels.append(-100)  # 非首个 token 设为 -100
        else:
            processed_labels.append(label)

    return torch.tensor(processed_labels)

# 2. 模型定义
class BERT_CRF(torch.nn.Module):
    def __init__(self, model_name, num_labels):
        super().__init__()
        self.bert = AutoModel.from_pretrained(model_name)
        self.dropout = torch.nn.Dropout(0.1)
        self.classifier = torch.nn.Linear(768, num_labels)
        self.crf = CRF(num_labels, batch_first=True)

    def forward(self, input_ids, attention_mask, labels=None):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        sequence_output = outputs[0]
        sequence_output = self.dropout(sequence_output)
        logits = self.classifier(sequence_output)

        if labels is not None:
            loss = -self.crf(logits, labels, mask=attention_mask.bool(), reduction='mean')
            return loss
        return self.crf.decode(logits, mask=attention_mask.bool())

我们在 CoNLL-2003 NER 数据集上对比了不同处理方式：