深入解析BERT模型损失函数：从理论到实践优化

1次阅读

没有评论

共计 2031 个字符，预计需要花费 6 分钟才能阅读完成。

BERT 模型的预训练阶段依赖两个核心任务：掩码语言模型（MLM）和下一句预测（NSP），其损失函数设计直接影响模型的语义表征能力。

给定输入序列 $X={x_1,…,x_n}$，随机掩码 15% 的 token 得到 $X^{mask}$，模型需预测被掩码位置的原始 token。其损失函数为交叉熵损失：

$$\mathcal{L}{MLM} = -\sum)$$} \log P(x_i|X^{mask

其中 $M$ 表示被掩码的 token 位置集合。实践中采用以下改进策略：

80% 概率替换为 [MASK] 标记
10% 概率替换为随机 token
10% 概率保持原 token 不变

对于句子对 $(A,B)$，模型需判断 B 是否为 A 的下一句，损失函数为二分类交叉熵：

$$\mathcal{L}_{NSP} = -[y\log p + (1-y)\log(1-p)]$$

其中 $y\in{0,1}$ 表示是否为连续句子，$p$ 为模型预测概率。后续研究发现 NSP 任务对某些下游任务帮助有限，RoBERTa 等模型已移除此任务。

传统交叉熵使用硬标签（0 或 1），容易导致过拟合。标签平滑通过引入平滑因子 $\epsilon$ 软化标签：

$$q_i = \begin{cases}
1-\epsilon + \epsilon/K & \text{if} i=y \
\epsilon/K & \text{otherwise}
\end{cases}$$

其中 $K$ 为类别数，$\epsilon$ 通常取 0.1。在 GLUE 基准测试中，该方法可使模型平均提升 0.3-0.5 个点。

针对类别不平衡问题，Focal Loss 通过调制因子 $(1-p_t)^\gamma$ 降低易分类样本的权重：

$$FL(p_t) = -\alpha_t(1-p_t)^\gamma \log(p_t)$$

当 $\gamma=2$ 时，在低资源文本分类任务中可提升 2 -5% 的 F1 值。

import torch.nn as nn

class BertMLMLoss(nn.Module):
    def __init__(self, vocab_size):
        super().__init__()
        self.loss_fn = nn.CrossEntropyLoss(ignore_index=-100)  # 忽略 padding 位置

    def forward(self, logits, labels):
        # logits: [batch_size, seq_len, vocab_size]
        # labels: [batch_size, seq_len]
        loss = self.loss_fn(logits.view(-1, logits.size(-1)), 
            labels.view(-1)
        )
        return loss

class WeightedMLMLoss(nn.Module):
    def __init__(self, vocab_size, class_weights):
        super().__init__()
        self.weights = torch.FloatTensor(class_weights)
        self.loss_fn = nn.CrossEntropyLoss(weight=self.weights)

    def forward(self, logits, labels):
        # 对低频词赋予更高权重
        return self.loss_fn(logits.view(-1, logits.size(-1)), labels.view(-1))