深入解析NLP中[cls]和[sep]标签的CRF训练策略：如何正确处理子词标签-100问题

1次阅读

共计 2616 个字符，预计需要花费 7 分钟才能阅读完成。

在序列标注任务中，BERT 等预训练模型已经成为主流选择。然而，许多开发者在处理特殊标记和子词时容易忽略一些关键细节，导致模型性能下降。本文将详细分析如何正确处理 [cls]、[sep] 标记以及子词 (非首 token) 的标签问题，并展示完整的技术实现方案。

特殊标记的处理困境
[cls]和 [sep] 是 BERT 等模型中的特殊标记，分别表示句子开头和分隔符
在序列标注任务中，这些标记本身不应对应任何实体标签
直接忽略或错误处理会导致模型学习到错误的模式
子词带来的标签泄露问题
BPE 等子词切分算法会将单词拆分为多个子词
非首子词如果继承了原词标签，会造成标签重复计算
例如：”unhappy” 切分为 ”un” 和 ”##happy”，只有 ”un” 应保留原标签
为什么选择标签 -100
PyTorch 的 CrossEntropyLoss 会自动忽略标签为 -100 的项
CRF 层也能正确处理这种特殊标签
这是 NLP 社区广泛采用的标准做法

直接忽略策略：
优点：实现简单
缺点：可能影响 CRF 的转移概率计算
显式设为 -100 策略：
优点：明确告知模型这些位置不参与训练
缺点：需要额外处理 attention mask

CRF 层通过转移矩阵约束标签序列的合理性。当遇到 -100 标签时，我们需要确保：

训练时不计入损失计算
预测时不影响 Viterbi 解码
转移矩阵不学习这些位置的参数

from transformers import BertTokenizer, BertModel
from torchcrf import CRF
import torch
import torch.nn as nn

class BertCRF(nn.Module):
    def __init__(self, num_tags):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(768, num_tags)
        self.crf = CRF(num_tags, batch_first=True)

    def forward(self, input_ids, attention_mask, labels=None):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        sequence_output = outputs.last_hidden_state
        sequence_output = self.dropout(sequence_output)
        emissions = self.classifier(sequence_output)

        if labels is not None:
            loss = -self.crf(emissions, labels, mask=attention_mask.byte())
            return loss
        else:
            return self.crf.decode(emissions, mask=attention_mask.byte())

# 处理标签的函数
def align_labels(texts, labels, tokenizer):
    aligned_labels = []
    for text, text_labels in zip(texts, labels):
        # 初始化所有 token 为 -100
        tokenized = tokenizer(text, add_special_tokens=True)
        current_labels = [-100] * len(tokenized['input_ids'])

        # 处理子词
        token_indices = tokenized.word_ids()
        for i, (token_idx, label) in enumerate(zip(token_indices, text_labels)):
            if token_idx is not None:
                # 只给子词的首 token 分配标签
                if i > 0 and token_idx == token_indices[i-1]:
                    continue
                current_labels[i] = label

        # 确保特殊标记保持 -100
        current_labels[0] = -100  # [CLS]
        current_labels[-1] = -100  # [SEP]

        aligned_labels.append(current_labels)

    return torch.tensor(aligned_labels)

初始化所有 token 为 -100
遍历 word_ids()确定子词关系
只给每个单词的首子词分配标签
确保 [cls] 和[sep]保持 -100

# attention_mask 需要转换为 byte 类型
mask = attention_mask.byte()

# CRF 层会自动处理 mask
loss = -self.crf(emissions, labels, mask=mask)

# 解码时同样需要 mask
preds = self.crf.decode(emissions, mask=mask)