深入解析BERT预训练：掩码语言模型(MLM)与下一句预测(NSP)任务原理与实践

1次阅读

共计 2044 个字符，预计需要花费 6 分钟才能阅读完成。

BERT 的成功很大程度上归功于它的两个预训练任务：掩码语言模型 (MLM) 和下一句预测(NSP)。这两个任务让模型学会了理解单词在上下文中的含义以及句子之间的关系。

MLM 的核心思想很简单：随机遮盖输入文本中的一些单词，然后让模型预测这些被遮盖的单词。这迫使模型不仅要理解单个单词的含义，还要理解单词在上下文中的关系。

具体操作时，BERT 会随机遮盖 15% 的输入 token
其中 80% 用 [MASK] 替换，10% 用随机词替换，10% 保持不变
这种策略防止模型过度依赖 [MASK] 标记

数学上，MLM 是一个分类问题，使用交叉熵损失函数：

L_MLM = -∑ y_i * log(p_i)

其中 y_i 是真实单词的 one-hot 编码，p_i 是模型预测的概率分布。

NSP 任务让模型判断两个句子是否是连续的。这在理解段落和文档级别的语义时非常有用。

正样本：从语料中取连续的句子对
负样本：随机组合不相关的句子
这是一个二分类问题，使用二元交叉熵损失

from transformers import BertTokenizer
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def prepare_mlm_inputs(text):
    inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)
    # 随机选择 15% 的 token 进行 mask
    mask_indices = torch.randperm(inputs['input_ids'].size(1))[:int(0.15*inputs['input_ids'].size(1))]
    labels = inputs['input_ids'].clone()
    # 80% 用 [MASK] 替换
    inputs['input_ids'][0, mask_indices[:int(0.8*len(mask_indices))]] = tokenizer.mask_token_id
    # 10% 用随机词替换
    random_words = torch.randint(len(tokenizer), size=(int(0.1*len(mask_indices)),))
    inputs['input_ids'][0, mask_indices[int(0.8*len(mask_indices)):int(0.9*len(mask_indices))]] = random_words
    # 剩下 10% 保持不变
    return inputs, labels

from transformers import BertForPreTraining

model = BertForPreTraining.from_pretrained('bert-base-uncased')

# 训练参数设置
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)

def train_step(batch):
    inputs, labels = prepare_mlm_inputs(batch['text'])
    outputs = model(**inputs, labels=labels, next_sentence_label=batch['is_next'])
    loss = outputs.loss
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()
    return loss.item()

通过消融实验发现：