深入解析BERT中的掩码语言模型(MLM)：从原理到15%掩码策略的实现细节

1次阅读

共计 2064 个字符，预计需要花费 6 分钟才能阅读完成。

在 BERT 的预训练过程中，掩码语言模型 (MLM) 是其最核心的创新之一。与传统的自回归语言模型不同，MLM 采用双向上下文预测被掩码的单词，这使得模型能够更好地理解词语在句子中的上下文关系。具体来说，MLM 通过随机掩盖输入句子中的部分词汇，然后让模型基于上下文来预测这些被掩盖的词汇，从而学习到丰富的语言表示。

BERT 选择 15% 的掩码比例是基于大量实验得出的经验值。这个比例既保证了模型有足够的上下文信息来进行预测，又不会因为掩码过多而导致模型训练困难。具体实现时，这 15% 的被选中词汇会按照以下策略处理：

80% 的概率替换为 [MASK] 标记
10% 的概率替换为随机词汇
10% 的概率保持原词不变

这种策略的数学表达为：

$$P(w_i^{\prime}|w_i) = \begin{cases}
[MASK] & \text{概率} 0.8 \
random\ word & \text{概率} 0.1 \
w_i & \text{概率} 0.1
\end{cases}$$

下面是一个完整的 PyTorch 实现示例，展示了如何构建 MLM 的掩码生成和处理逻辑：

import torch
import random
from typing import List, Tuple

def create_mlm_mask(
    input_ids: torch.Tensor,
    mask_token_id: int,
    vocab_size: int,
    special_token_ids: List[int],
    mask_prob: float = 0.15,
    replace_prob: float = 0.1,
    random_prob: float = 0.1
) -> Tuple[torch.Tensor, torch.Tensor]:
    """
    创建 MLM 掩码和标签
    Args:
        input_ids: 输入 token id 序列 [batch_size, seq_len]
        mask_token_id: [MASK] token 的 id
        vocab_size: 词汇表大小
        special_token_ids: 需要排除的特殊 token id 列表
        mask_prob: 总掩码概率
        replace_prob: 随机替换概率
        random_prob: 保持原词概率
    Returns:
        masked_input: 掩码后的输入
        labels: 对应的标签(未被掩码的位置设为 -100)
    """
    labels = input_ids.clone()
    # 创建概率矩阵
    prob_matrix = torch.full(labels.shape, mask_prob)
    # 排除特殊 token
    for special_id in special_token_ids:
        prob_matrix.masked_fill_(input_ids == special_id, 0)

    # 生成掩码位置
    mask_indices = torch.bernoulli(prob_matrix).bool()
    labels[~mask_indices] = -100  # 忽略未掩码位置

    # 处理 80-10-10 策略
    masked_input = input_ids.clone()
    for i in range(input_ids.size(0)):
        for j in range(input_ids.size(1)):
            if mask_indices[i, j]:
                rand_val = random.random()
                if rand_val < 0.8:
                    masked_input[i, j] = mask_token_id
                elif rand_val < 0.9:
                    masked_input[i, j] = random.randint(0, vocab_size - 1)
                # 剩下 10% 保持原词

    return masked_input, labels

我们通过实验比较了不同掩码比例对模型性能的影响：