深入解析BCE损失函数计算公式：从数学原理到PyTorch实战

1次阅读

没有评论

共计 1998 个字符，预计需要花费 5 分钟才能阅读完成。

在二分类任务中，许多新手工程师常犯的错误是直接使用均方误差（MSE）作为损失函数。这会导致模型在 sigmoid 输出层附近出现梯度消失（Vanishing Gradient）问题，表现为：

当预测值接近 0 或 1 时，MSE 的梯度会变得极小（导数接近 0）
模型在训练后期几乎停止更新参数
需要更多的训练轮数才能收敛

$$\frac{\partial MSE}{\partial w} = (\hat{y} – y) \cdot \sigma'(z) \cdot x$$

而 BCE（Binary Cross Entropy）损失函数通过引入对数项，完美解决了这个问题：

$$BCE = -\frac{1}{N}\sum_{i=1}^N [y_i\cdot log(p_i) + (1-y_i)\cdot log(1-p_i)]$$

从信息论角度看，交叉熵衡量的是两个概率分布之间的差异。对于二分类问题：

真实分布 ：P(y=1)=1, P(y=0)=0（one-hot 形式）
预测分布 ：P(y=1)=p, P(y=0)=1-p

交叉熵的定义为：

$$H(p,q) = -\sum_x p(x)log(q(x))$$

将其具体化到二分类场景：

当 y = 1 时：loss = -log(p)
当 y = 0 时：loss = -log(1-p)

对数项的关键作用体现在梯度计算中：

$$\frac{\partial BCE}{\partial p} = -\frac{y}{p} + \frac{1-y}{1-p}$$

这种设计使得：

当预测错误时（y= 1 但 p→0），梯度会变得很大
当预测正确时（y= 1 且 p→1），梯度趋近于 0

import torch
import torch.nn as nn

# 基础用法
bce_loss = nn.BCELoss()
output = model(inputs)
loss = bce_loss(output, labels)

# 带类别权重
pos_weight = torch.tensor([2.0])  # 正样本权重
bce_loss = nn.BCEWithLogitsLoss(pos_weight=pos_weight)

import tensorflow as tf

# 基础用法
bce_loss = tf.keras.losses.BinaryCrossentropy(from_logits=True)
loss = bce_loss(y_true=labels, y_pred=logits)

# 标签平滑（Label Smoothing）smoothed_loss = tf.keras.losses.BinaryCrossentropy(label_smoothing=0.1)

import torch
from torch.nn.utils import clip_grad_norm_

class WeightedBCETrainer:
    def __init__(self, model, pos_weight=1.0, max_grad_norm=5.0):
        self.model = model
        self.criterion = nn.BCEWithLogitsLoss(pos_weight=torch.tensor([pos_weight])
        )
        self.optimizer = torch.optim.Adam(model.parameters())
        self.max_grad_norm = max_grad_norm

    def train_step(self, inputs, labels):
        # 前向传播
        logits = self.model(inputs)
        loss = self.criterion(logits, labels)

        # 反向传播
        self.optimizer.zero_grad()
        loss.backward()

        # 梯度裁剪
        clip_grad_norm_(self.model.parameters(), self.max_grad_norm)

        # 参数更新
        self.optimizer.step()
        return loss.item()