BERT中的掩码语言模型(MLM)训练机制解析：15%掩码策略的技术实现与优化

1次阅读

没有评论

共计 1905 个字符，预计需要花费 5 分钟才能阅读完成。

在 BERT 问世前，NLP 模型主要采用单向语言模型（如 GPT）或浅层双向表征。MLM 的创新在于通过随机掩盖输入文本中的部分词汇（通常为 15%），迫使模型基于上下文预测被掩盖的内容。这种设计带来两大优势：

真正的双向上下文理解：不同于传统语言模型只能从左到右或从右到左预测，MLM 允许模型同时利用被掩盖词前后的上下文信息
更丰富的表征学习：模型必须学习词汇间的深层语义关系，而不仅仅是表面共现模式

BERT 对选中的 15% 词汇采用以下处理方式（假设原始句子为 ”The cat sat on the mat”）：

80% 概率替换为[MASK]：
原始：The [MASK] sat on the mat
目标：预测 ”cat”
10% 概率随机替换为其他词：
原始：The dog sat on the mat
目标：识别 ”dog” 是错误的并预测 ”cat”
10% 概率保持不变：
原始：The cat sat on the mat
目标：强化对实际词汇分布的建模

损失函数采用交叉熵损失，公式为：

$$
\mathcal{L}{MLM} = -\sum_i)
$$} \log P(w_i | \mathbf{h

其中 $M$ 是被掩盖的 token 集合，$\mathbf{h}_i$ 是第 i 个 token 的隐藏层输出。

import torch
import torch.nn as nn
import random

class MLMProcessor:
    def __init__(self, vocab_size, mask_token_id, mask_prob=0.15):
        self.vocab_size = vocab_size
        self.mask_token_id = mask_token_id
        self.mask_prob = mask_prob

    def process_batch(self, input_ids):
        """
        处理输入 batch，返回掩码后的输入和对应的标签
        参数:
            input_ids: [batch_size, seq_len]
        返回:
            masked_input: 掩码后的输入
            mlm_labels: 被掩盖位置的标签（未被掩盖位置为 -100）"""
        labels = input_ids.clone()
        # 创建概率矩阵（0.85 概率不被选中）prob_matrix = torch.full(labels.shape, 1 - self.mask_prob)
        # 确定被掩盖的 token 位置
        masked_indices = torch.bernoulli(prob_matrix).bool()
        labels[~masked_indices] = -100  # 忽略未被掩盖的位置

        # 对被选中的 15% 进行三种处理
        replace_prob = torch.rand(labels.shape)
        # 80% 替换为[MASK]
        mask_token_mask = (replace_prob < 0.8) & ~masked_indices
        input_ids[mask_token_mask] = self.mask_token_id
        # 10% 随机替换为其他词
        random_token_mask = (replace_prob >= 0.9) & ~masked_indices
        random_tokens = torch.randint(0, self.vocab_size, labels.shape)
        input_ids[random_token_mask] = random_tokens[random_token_mask]
        # 剩余 10% 保持不变

        return input_ids, labels