CE损失函数入门指南：从数学原理到PyTorch实战

1次阅读

没有评论

共计 2027 个字符，预计需要花费 6 分钟才能阅读完成。

交叉熵（Cross-Entropy）本质上是信息论中衡量两个概率分布差异的工具。要理解它，我们需要先了解几个基础概念：

信息熵：表示一个事件的不确定性，定义为 (H(p) = -\sum p(x)\log p(x))。例如，硬币正面概率为 0.5 时，熵达到最大值 1。
KL 散度：衡量两个分布 p（真实分布）和 q（预测分布）的差异：(D_{KL}(p||q) = \sum p(x)\log\frac{p(x)}{q(x)})。
交叉熵：可以拆解为 (H(p,q) = H(p) + D_{KL}(p||q))。由于训练时 p 是固定标签，最小化交叉熵等价于最小化 KL 散度。

在二分类任务中，假设真实标签 y =1，模型输出概率为 0.01 时：

MSE 损失：((1-0.01)^2 = 0.98)
CE 损失：(-\log(0.01) \approx 4.6)

CE 对错误预测的惩罚更严厉（梯度更大），尤其当预测概率接近 0 或 1 时。这使得模型能更快修正严重错误的预测。下图展示了两种损失函数的梯度差异：

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(0.01, 0.99, 100)
mse = (1-x)**2
ce = -np.log(x)

plt.plot(x, mse, label='MSE')
plt.plot(x, ce, label='CE')
plt.legend()
plt.show()

# PyTorch 实现
import torch.nn as nn

# 假设类别 0 和 1 的样本比例为 1:4
weights = torch.tensor([1.0, 0.25])
loss_fn = nn.CrossEntropyLoss(weight=weights)

# 输入格式：batch_size × num_classes
inputs = torch.randn(3, 2)
# 标签格式：batch_size（必须是类别索引）targets = torch.tensor([1, 0, 1])

loss = loss_fn(inputs, targets)

# TensorFlow 实现
import tensorflow as tf

weights = tf.constant([1.0, 0.25])
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(
    from_logits=True,
    reduction=tf.keras.losses.Reduction.SUM_OVER_BATCH_SIZE
)

# 注意：这里的 weights 是样本级权重，不是类别权重
loss = loss_fn(y_true=[1, 0, 1],
    y_pred=[[0.3, 0.7], [0.8, 0.2], [0.4, 0.6]],
    sample_weight=[0.25, 1.0, 0.25]
)

标签平滑（Label Smoothing）通过将硬标签替换为((1-\epsilon)\cdot y + \epsilon/K)（K 为类别数），防止模型对标签过度自信：

# PyTorch 手动实现
epsilon = 0.1
num_classes = 10

# 原始 one-hot 标签
targets = torch.tensor([2, 5])  # 类别索引
smoothed = torch.full((len(targets), num_classes), epsilon/(num_classes-1))
smoothed.scatter_(1, targets.unsqueeze(1), 1-epsilon)

# 使用带 logits 的 CE 损失
loss_fn = nn.CrossEntropyLoss()
logits = model(inputs)
loss = loss_fn(logits, smoothed)