BERT掩码语言模型(MLM)目标函数详解：从理论到PyTorch实现

1次阅读

共计 2568 个字符，预计需要花费 7 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是自然语言处理（NLP）领域的一项重要技术，它的成功很大程度上归功于其预训练阶段使用的两种任务：掩码语言模型（MLM）和下一句预测（NSP）。其中，MLM 任务让 BERT 能够学习双向上下文表示，从而在各种下游任务中表现出色。

MLM 的核心思想是通过随机掩盖输入文本中的某些词，然后让模型预测这些被掩盖的词。这种训练方式迫使模型理解上下文信息，而不仅仅是单向的语义。对于初学者来说，理解 MLM 的实现细节是掌握 BERT 预训练的关键一步。

MLM 目标函数的数学表达可以简化为一个分类问题。给定一个输入序列，BERT 会随机掩盖部分 token，然后模型需要预测这些被掩盖的 token。具体来说：

输入序列：BERT 的输入是一个 token 序列，例如 [CLS] the quick brown fox jumps [MASK] the dog [SEP]。
掩码策略：对于选中的 token，BERT 会以一定概率进行替换：
80% 的概率替换为 [MASK]
10% 的概率替换为随机 token
10% 的概率保持不变
损失函数：使用交叉熵损失（Cross-Entropy Loss）计算模型预测与真实标签之间的差异。

数学上，MLM 的损失函数可以表示为：

$$
L_{MLM} = -\sum_{i \in M} \log P(w_i | w_{\backslash i})
$$

其中，$M$ 是被掩盖的 token 集合，$w_i$ 是第 $i$ 个 token 的真实值，$w_{\backslash i}$ 表示除了第 $i$ 个 token 以外的上下文。

下面是一个使用 PyTorch 实现 MLM 任务的代码示例，包含详细的注释和类型标注：

import torch
import torch.nn as nn
from transformers import BertTokenizer, BertForMaskedLM

# 初始化 tokenizer 和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')

# 示例输入文本
text = "The quick brown fox jumps over the lazy dog."

# 对输入文本进行 tokenize 和编码
inputs = tokenizer(text, return_tensors="pt")
input_ids = inputs["input_ids"]

# 定义掩码策略：随机选择 15% 的 token 进行掩盖
mask_percentage = 0.15
num_tokens = input_ids.size(1)
num_mask = int(num_tokens * mask_percentage)

# 随机选择要掩盖的 token 位置
mask_indices = torch.randperm(num_tokens)[:num_mask]

# 应用掩码策略
for idx in mask_indices:
    # 80% 的概率替换为[MASK]
    if torch.rand(1) < 0.8:
        input_ids[0, idx] = tokenizer.mask_token_id
    # 10% 的概率替换为随机 token
    elif torch.rand(1) < 0.5:  # 0.1 / (0.1 + 0.1)
        input_ids[0, idx] = torch.randint(0, tokenizer.vocab_size, (1,))
    # 10% 的概率保持不变

# 前向传播计算损失
outputs = model(input_ids, labels=input_ids)
loss = outputs.loss
print(f"MLM Loss: {loss.item()}")

掩码策略：代码中实现了 BERT 论文中的掩码策略，即 80% 的概率替换为 [MASK]，10% 的概率替换为随机 token，10% 的概率保持不变。
损失计算：BertForMaskedLM 会自动计算交叉熵损失，我们只需要传入 labels 参数即可。
类型标注：代码中虽然没有显式标注类型，但 PyTorch 的张量操作已经隐含了类型信息。

掩码比例是一个重要的超参数。BERT 原始论文中使用的是 15% 的掩码比例，但实际应用中可能需要根据任务调整：