01损失函数原理详解与实战应用：从理论到代码实现

1次阅读

没有评论

共计 1810 个字符，预计需要花费 5 分钟才能阅读完成。

01 损失函数（Zero-One Loss）是分类任务中最直观的评估指标，其数学定义为：

$$L_{01}(y, \hat{y}) = \begin{cases}
0 & \text{if} y = \hat{y} \
1 & \text{otherwise}
\end{cases}$$

特性分析：
离散型输出：只能取 0 或 1 两个值
对称性：对误分类的惩罚与类别无关
不可微：在决策边界处存在阶跃 discontinuity

梯度消失问题：
由于函数在所有点的导数均为 0，无法通过梯度下降进行优化
在实际代码中表现为权重完全不更新
收敛困难：
随机初始化可能使模型陷入局部最优
需要极精细的学习率调整才能偶尔收敛
鲁棒性差：
对噪声数据敏感
无法反映分类置信度（所有误分类同等对待）

数学形式：
$$L_{hinge} = \max(0, 1 – y \cdot \hat{y})$$
– 优点：
– 间隔最大化特性增强泛化能力
– 对离群点相对鲁棒
– 缺点：
– 非严格凸函数
– 需要配合正则化使用

数学形式：
$$L_{log} = -\log(\frac{1}{1 + e^{-y \cdot \hat{y}}})$$
– 优点：
– 输出概率解释性强
– 处处可微且严格凸
– 缺点：
– 对错误分类惩罚呈指数增长

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 生成线性可分数据
def generate_data(n_samples=100):
    X = torch.randn(n_samples, 2)
    y = ((X[:,0] > 0.5) & (X[:,1] > 0.5)).float() * 2 - 1
    return X, y

# 对比三种损失函数
loss_funcs = {"Hinge": nn.HingeEmbeddingLoss(),
    "Logistic": nn.BCEWithLogitsLoss(),
    "MSE": nn.MSELoss()  # 对比基准}

# 简单线性模型
model = nn.Linear(2, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 训练循环
for name, criterion in loss_funcs.items():
    losses = []
    for _ in range(100):
        optimizer.zero_grad()
        outputs = model(X)
        loss = criterion(outputs.squeeze(), y)
        loss.backward()
        optimizer.step()
        losses.append(loss.item())

    plt.plot(losses, label=name)

plt.legend()
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

关键注释说明：
1. HingeEmbeddingLoss需要标签为±1
2. BCEWithLogitsLoss 已包含 sigmoid 运算
3. 注意 outputs.squeeze() 处理维度匹配