BP神经网络实战入门：从CSDN案例到Python实现

1次阅读

共计 2013 个字符，预计需要花费 6 分钟才能阅读完成。

刚开始接触 BP 神经网络时，大多数人会被这三个问题卡住：

反向传播的数学推导：链式法则的层层递进容易让人迷失方向
激活函数选择困难症：Sigmoid 的梯度消失、ReLU 的死亡神经元等问题难以权衡
参数调优的玄学感：学习率设置、网络深度等参数缺乏量化参考标准

通过 PyTorch 在 MNIST 数据集上的对比测试（100epochs，lr=0.01），得到关键数据：

激活函数	测试集准确率	训练时间	现象观察
Sigmoid	87.2%	最长	后期 loss 几乎不下降
Tanh	89.5%	中等	梯度变化较平稳
ReLU	92.3%	最短	前 10epoch 收敛最快

import torch.nn as nn

class BPNet(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=256, output_dim=10):
        super().__init__()
        # He 初始化更适合 ReLU
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        nn.init.kaiming_normal_(self.fc1.weight)
        self.fc2 = nn.Linear(hidden_dim, output_dim)
        # 输出层使用较小方差初始化
        nn.init.xavier_normal_(self.fc2.weight, gain=0.1)

    def forward(self, x):
        x = x.view(-1, 784)  # 展平输入
        x = torch.relu(self.fc1(x))
        # 输出层不接激活函数（包含在 CrossEntropyLoss 中）return self.fc2(x)

# 使用带权重衰减的 Adam 优化器
optimizer = torch.optim.Adam(model.parameters(), 
                            lr=0.001,
                            weight_decay=1e-5)

# 学习率指数衰减
scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.95)

for epoch in range(100):
    # 前向传播
    outputs = model(images)
    loss = criterion(outputs, labels)

    # 反向传播
    optimizer.zero_grad()
    loss.backward()

    # 梯度裁剪防止爆炸
    torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=2.0)

    optimizer.step()

    # 每 5 个 epoch 调整学习率
    if epoch % 5 == 0:
        scheduler.step()

# 标准化到 [-1,1] 区间
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])

# 加载数据时直接进行 one-hot 编码
train_set = datasets.MNIST(root='./data', 
                          train=True,
                          download=True,
                          transform=transform)

建议使用 TensorBoard 记录以下指标：

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter()

# 在训练循环中添加记录
writer.add_scalar('Loss/train', loss.item(), epoch)
writer.add_scalar('Accuracy/train', acc, epoch)

学习率设置黄金法则：
初始值尝试 0.01~0.001 范围
当连续 3 个 epoch 的 loss 变化 <1% 时触发衰减

隐层神经元数量经验公式：

hidden_units = (input_dim + output_dim) * 2/3

早停法实现技巧：

best_loss = float('inf')
patience = 5

if val_loss < best_loss:
    best_loss = val_loss
    counter = 0
else:
    counter += 1
    if counter >= patience:
        break