BERT训练效果优化：如何解读损失函数大小随epoch变化的规律

1次阅读

没有评论

共计 1839 个字符，预计需要花费 5 分钟才能阅读完成。

在 BERT 模型训练过程中，很多工程师会忽略对损失函数的监控，导致训练效率低下甚至失败。常见的误区包括：

只看最终指标：只关注验证集准确率，忽视训练过程中的损失变化趋势
过早停止：看到损失下降缓慢就提前终止训练，错过模型最佳收敛点
资源浪费：在已经过拟合的情况下继续训练，消耗额外计算资源

这些问题往往会导致：

模型欠拟合：损失函数值长期居高不下
无效训练：损失波动大但整体不下降
过拟合：训练损失持续下降但验证损失上升

理想的 BERT 训练损失曲线应呈现以下特征：

初始快速下降期：前几个 epoch 损失快速下降
平稳收敛期：后续 epoch 损失缓慢下降至稳定
最终稳定期：最后阶段损失基本不再变化

非理想曲线示例如下：

锯齿状波动：通常表明学习率过大
平台期：可能提示需要调整优化器参数
二次上升：往往是过拟合的信号

损失函数 $L(θ)$ 与模型参数 $θ$ 的关系可以用泰勒展开表示：

$$L(θ) ≈ L(θ_0) + (θ-θ_0)^T∇L(θ_0) + \frac{1}{2}(θ-θ_0)^TH(θ-θ_0)$$

其中 $H$ 是 Hessian 矩阵。优化过程实质是在寻找使 $∇L(θ)=0$ 的参数点。

优化器	损失变化特点	适用场景
AdamW	平稳下降，波动小	大多数 BERT 训练
SGD	可能震荡但最终收敛更好	精细调优阶段

# torch>=1.8.0
import matplotlib.pyplot as plt
from torch.optim.lr_scheduler import CosineAnnealingLR

class TrainingMonitor:
    def __init__(self, patience=3):
        self.train_losses = []
        self.val_losses = []
        self.best_loss = float('inf')
        self.patience = patience
        self.counter = 0

    def update(self, train_loss, val_loss):
        self.train_losses.append(train_loss)
        self.val_losses.append(val_loss)

        if val_loss < self.best_loss:
            self.best_loss = val_loss
            self.counter = 0
        else:
            self.counter += 1

        return self.counter >= self.patience

# 使用示例
monitor = TrainingMonitor()
optimizer = AdamW(model.parameters(), lr=5e-5)
scheduler = CosineAnnealingLR(optimizer, T_max=10)

for epoch in range(epochs):
    train_loss = train_one_epoch()
    val_loss = evaluate()

    if monitor.update(train_loss, val_loss):
        print("Early stopping triggered")
        break

    scheduler.step()

    # 绘制曲线
    plt.plot(monitor.train_losses, label='Train')
    plt.plot(monitor.val_losses, label='Validation')
    plt.show()

当出现损失震荡时，建议按以下顺序调整：