0-1损失函数在机器学习中的原理与应用避坑指南

1次阅读

没有评论

共计 1353 个字符，预计需要花费 4 分钟才能阅读完成。

0- 1 损失函数 是分类任务中最直观的评估指标，其数学定义为：

$$
L_{0-1}(y, \hat{y}) = \begin{cases}
0 & \text{if} y = \hat{y} \
1 & \text{otherwise}
\end{cases}
$$

不可导性：函数在预测值 $\hat{y}$ 等于真实值 $y$ 时发生阶跃，导致导数在临界点无定义
离散特性：输出仅为 0 或 1，无法反映预测错误的程度（例如 0.9 错误和 0.1 错误被视为等同）

$$
L_{CE} = -[y\log(\hat{y}) + (1-y)\log(1-\hat{y})]
$$
– 优势：连续可导，梯度随预测误差线性变化
– 局限：对异常值敏感（如预测 0.99 时真实值为 0）

$$
L_{hinge} = \max(0, 1 – y\cdot\hat{y})
$$
– 特点：创建 ” 安全边际 ”，对正确分类的样本梯度为 0

损失函数	训练时间	测试准确率
0- 1 损失	N/A	无法收敛
交叉熵	12min	98.2%
Hinge	15min	97.8%

import torch
import torch.nn as nn

class ZeroOneLoss(nn.Module):
    def forward(self, y_pred, y_true):
        # 添加形状检查
        assert y_pred.shape == y_true.shape, "Shape mismatch"

        # 模拟 0 - 1 损失（实际训练需用代理函数）with torch.no_grad():
            return (y_pred.round() != y_true).float().mean()

# 训练示例（使用交叉熵作为替代）model = nn.Linear(10, 2)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 添加 L1 正则化
def l1_penalty(params):
    return sum(p.abs().sum() for p in params)

for epoch in range(100):
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, labels) + 0.001 * l1_penalty(model.parameters())
    loss.backward()
    optimizer.step()