深度学习入门：10分类交叉熵损失函数的原理与实战应用

1次阅读

没有评论

共计 2186 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习中，多分类问题是指模型需要从多个类别中选择最合适的一个作为预测结果。交叉熵损失函数（Cross-Entropy Loss）是衡量模型预测概率分布与真实概率分布差异的重要指标，特别适用于分类任务。

数学上，交叉熵损失函数定义为：

$$ L = -\sum_{i=1}^{C} y_i \log(p_i) $$

其中，$C$ 是类别数量（这里 $C=10$），$y_i$ 是真实标签的 one-hot 编码，$p_i$ 是模型预测的第 $i$ 个类别的概率。

二分类交叉熵 ：
类别数量 $C=2$
通常使用 sigmoid 激活函数
公式简化为：$L = -[y\log(p) + (1-y)\log(1-p)]$
多分类交叉熵 ：
类别数量 $C>2$（本文 $C=10$）
使用 softmax 激活函数确保概率总和为 1
需要完整的 one-hot 编码标签

以下是完整的 10 分类问题实现代码：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据预处理
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])

# 加载 MNIST 数据集（10 分类）train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform)

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

# 定义简单神经网络
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(28*28, 128)
        self.fc2 = nn.Linear(128, 10)  # 10 个输出单元对应 10 个类别

    def forward(self, x):
        x = x.view(-1, 28*28)  # 展平图像
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)  # 不在这里加 softmax，因为 CrossEntropyLoss 会自动处理
        return x

model = Net()

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()  # 已经内置 softmax
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(10):
    for i, (images, labels) in enumerate(train_loader):
        # 前向传播
        outputs = model(images)
        loss = criterion(outputs, labels)  # labels 是 0 - 9 的整数，不是 one-hot

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if (i+1) % 100 == 0:
            print(f'Epoch [{epoch+1}/10], Step [{i+1}/{len(train_loader)}], Loss: {loss.item():.4f}')