实战解析：如何通过优化batchsize、优化器和激活函数提升神经网络分类效果

1次阅读

共计 2398 个字符，预计需要花费 6 分钟才能阅读完成。

在神经网络模型的训练过程中，参数的选择往往决定了模型性能的上限。batchsize、优化器和激活函数这三个关键参数，就像烹饪中的火候、调料和食材处理方式，不同的组合会带来截然不同的效果。batchsize 影响梯度更新的方向和内存消耗，优化器决定了参数更新的策略，而激活函数则直接关系到神经网络的非线性表达能力。本文将带你通过具体实验，理解这三个参数如何影响模型性能，以及如何针对不同任务进行优化选择。

我们使用 PyTorch 框架，在 MNIST 手写数字数据集上测试一个 3 层全连接网络。实验环境为 RTX 3060 显卡，CUDA 11.3。首先来看基础模型的实现代码：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据加载
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST('./data', train=False, transform=transform)

# 模型定义
class ThreeLayerFC(nn.Module):
    def __init__(self, activation_fn=nn.ReLU()):
        super(ThreeLayerFC, self).__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 256)
        self.fc3 = nn.Linear(256, 10)
        self.activation = activation_fn

    def forward(self, x):
        x = x.view(-1, 784)
        x = self.activation(self.fc1(x))
        x = self.activation(self.fc2(x))
        x = self.fc3(x)
        return x

我们将从 batchsize、优化器和激活函数三个维度进行对比实验。每个实验保持其他参数不变，只调整目标参数。

batchsize 的选择需要在内存占用和梯度稳定性之间权衡。较大的 batchsize 可以充分利用 GPU 并行计算能力，但可能导致泛化性能下降。

batch_sizes = [32, 64, 128]

for bs in batch_sizes:
    train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=bs, shuffle=True)
    model = ThreeLayerFC()
    optimizer = optim.Adam(model.parameters(), lr=0.001)
    # 训练代码...

SGD 和 Adam 是最常用的两种优化器。SGD 通常需要手动调整学习率，而 Adam 有自适应学习率机制。

optimizers = {'SGD': optim.SGD(model.parameters(), lr=0.01, momentum=0.9),
    'Adam': optim.Adam(model.parameters(), lr=0.001)
}

ReLU 和 Sigmoid 代表了两种不同的非线性特性。ReLU 计算简单且能缓解梯度消失问题，而 Sigmoid 能将输出压缩到 (0,1) 区间。

activation_fns = {'ReLU': nn.ReLU(),
    'Sigmoid': nn.Sigmoid()}

经过系统实验，我们得到如下性能对比数据（运行 5 个 epoch 的平均值）：

组合	验证准确率	训练时间(s)	显存占用(MB)
BS32+Adam+ReLU	97.8%	45.2	1200
BS64+Adam+ReLU	97.5%	38.7	1800
BS128+Adam+ReLU	97.1%	36.5	2500
BS64+SGD+ReLU	96.3%	42.1	1800
BS64+Adam+Sigmoid	95.7%	39.8	1800

从结果可以看出：
1. batchsize 从 32 增加到 128，训练时间减少约 20%，但准确率略有下降
2. Adam 优化器明显优于 SGD，特别是前期收敛速度更快
3. ReLU 激活函数比 Sigmoid 带来约 2% 的准确率提升

学习率与 batchsize：经验法则是，当 batchsize 增大 k 倍时，学习率也应增大√k 倍。因为更大的 batchsize 意味着更准确的梯度估计。
优化器选择：对于稀疏数据（如自然语言），Adam 通常表现更好，因为它对每个参数有单独的学习率。而 SGD 在精心调参后可能在图像数据上达到更好最终性能。
激活函数问题：使用 ReLU 时要注意 ” 死亡神经元 ” 问题，即某些神经元可能永远不被激活。可以通过 LeakyReLU 或调整初始化方法来缓解。