深入解析BCE损失函数原理图：从数学推导到PyTorch实战

1次阅读

共计 3338 个字符，预计需要花费 9 分钟才能阅读完成。

我们先通过 3D 曲面观察 BCE 损失的特性（假设输入经过 sigmoid 压缩到 [0,1] 区间）：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# 生成预测值和真实值的网格
y_pred = np.linspace(0.001, 0.999, 100)
y_true = [0, 1]

# 计算 BCE 损失
loss_0 = -np.log(1 - y_pred)  # y_true=0
loss_1 = -np.log(y_pred)      # y_true=1

# 绘制 3D 曲面
fig = plt.figure(figsize=(12,6))
ax = fig.add_subplot(111, projection='3d')
Y_pred, Y_true = np.meshgrid(y_pred, y_true)
Loss = - (Y_true * np.log(Y_pred) + (1-Y_true)*np.log(1-Y_pred))
ax.plot_surface(Y_pred, Y_true, Loss, cmap='viridis')
ax.set_xlabel('Prediction')
ax.set_ylabel('True Label')
ax.set_zlabel('BCE Loss')
ax.view_init(30, -120)
plt.title('BCE Loss Surface')
plt.show()

关键观察点：
– 当预测值接近真实标签时损失趋近于 0
– 预测值与真实标签相反时损失急剧上升
– 决策边界在 y_pred=0.5 处（图中红色虚线）

对于二分类问题，设：
– 真实标签 (y \in {0,1} )
– 模型预测概率 (p = \sigma(z) )（sigmoid 函数）

单个样本的 BCE 损失定义为：

[
\mathcal{L}_{BCE} = -[y \cdot \log(p) + (1-y) \cdot \log(1-p)]
]

推导过程：
1. 对于正样本(y=1)：损失仅保留第一项 (-\log(p) )
2. 对于负样本(y=0)：损失仅保留第二项 (-\log(1-p) )

首先计算 sigmoid 函数的导数特性：

[
\frac{d\sigma(z)}{dz} = \sigma(z)(1-\sigma(z)) = p(1-p)
]

损失函数对 logit z 的梯度：

[
\frac{\partial \mathcal{L}}{\partial z} = \frac{\partial \mathcal{L}}{\partial p} \cdot \frac{\partial p}{\partial z} = (\frac{-y}{p} + \frac{1-y}{1-p}) \cdot p(1-p) = p – y
]

这个简洁的结果解释了为什么 BCE 在逻辑回归中如此高效——梯度直接等于预测误差！

import torch
import torch.nn as nn

# 原生实现
def native_bce(): 
    criterion = nn.BCELoss()
    y_pred = torch.sigmoid(torch.randn(10, requires_grad=True))
    y_true = torch.randint(0,2,(10,)).float()
    loss = criterion(y_pred, y_true)
    loss.backward()

# 手动实现
def manual_bce():
    y_pred = torch.sigmoid(torch.randn(10, requires_grad=True))
    y_true = torch.randint(0,2,(10,)).float()

    # 核心公式实现
    loss = -torch.mean(y_true*torch.log(y_pred) + (1-y_true)*torch.log(1-y_pred))
    loss.backward()

# 验证一致性
native_loss = native_bce()
manual_loss = manual_bce()
print(f'Diff: {torch.abs(native_loss - manual_loss).item():.4f}')  # 应该≈0

# 假设正负样本比例为 1:9
pos_weight = torch.tensor([9.0])  # 对正样本损失加权

# 方法 1：使用 pos_weight 参数
criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)

# 方法 2：手动样本加权
weights = torch.where(y_true==1, pos_weight, torch.tensor(1.0))
loss = (weights * nn.functional.binary_cross_entropy(y_pred, y_true, reduction='none')).mean()

# 危险操作（可能导致数值溢出）raw_logits = torch.randn(10)*100  # 极端值
loss = nn.BCEWithLogitsLoss()(raw_logits, y_true)

# 安全做法：logits 裁剪
clipped_logits = torch.clamp(raw_logits, -10, 10)
safe_loss = nn.BCEWithLogitsLoss()(clipped_logits, y_true)

def safe_bce(y_pred, y_true):
    assert torch.all(y_pred >= 0) and torch.all(y_pred <= 1), \
        "Input must be in [0,1] range. Did you forget sigmoid?"
    return nn.BCELoss()(y_pred, y_true)

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    loss = nn.BCEWithLogitsLoss()(logits, y_true)

scaler.scale(loss).backward()  # 自动处理梯度缩放
scaler.step(optimizer)
scaler.update()

# 每个通道独立计算 BCE
loss = nn.BCEWithLogitsLoss()(torch.randn(4, 3),  # 4 样本 3 标签
    torch.randint(0,2,(4,3)).float())

BCE 优势：梯度稳定、理论完备
Dice 优势：直接优化 IoU、对类别不平衡鲁棒
医学图像常见方案：BCE + Dice 联合损失

def focal_bce(y_pred, y_true, gamma=2):
    bce = nn.functional.binary_cross_entropy(y_pred, y_true, reduction='none')
    pt = torch.exp(-bce)  # 计算 p_t
    return torch.mean((1-pt)**gamma * bce)