深度学习入门：反向传播中权重的计算原理与实现细节

1次阅读

没有评论

共计 2187 个字符，预计需要花费 6 分钟才能阅读完成。

反向传播算法是神经网络训练的核心，其核心思想是通过链式法则计算损失函数对每个权重的梯度。让我们从一个简单的例子开始理解这个过程。

假设我们有一个非常简单的神经网络，只有一个隐藏层和一个输出层。对于第 i 个权重 w_i，其梯度可以表示为：

计算输出层的误差（损失函数对输出的导数）
将这个误差反向传播到隐藏层
计算损失函数对每个权重的偏导数

这个过程中，链式法则让我们可以逐层分解复杂的导数计算。比如，要计算损失 L 对某个权重 w 的导数，我们可以写成：

∂L/∂w = (∂L/∂y) * (∂y/∂h) * (∂h/∂w)

其中 y 是输出，h 是隐藏层的激活值。

下面我们用一个完整的 PyTorch 示例来展示这个过程。我们将创建一个简单的全连接网络，并在 MNIST 数据集上进行训练。

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义网络结构
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc1 = nn.Linear(784, 256)  # 输入层到隐藏层
        self.fc2 = nn.Linear(256, 10)   # 隐藏层到输出层

    def forward(self, x):
        x = x.view(-1, 784)  # 展平输入
        x = torch.relu(self.fc1(x))  # 第一层激活
        x = self.fc2(x)  # 输出层
        return x

# 准备数据
transform = transforms.Compose([transforms.ToTensor()])
train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)

# 初始化网络和优化器
model = SimpleNet()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 训练循环
for epoch in range(5):
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()  # 清空梯度
        output = model(data)   # 前向传播
        loss = criterion(output, target)  # 计算损失
        loss.backward()        # 反向传播
        optimizer.step()       # 更新权重

关键点说明：

loss.backward() 会自动计算所有参数的梯度
optimizer.step() 会根据学习率更新权重
optimizer.zero_grad() 非常重要，防止梯度累积

在训练神经网络时，有几个常见问题需要注意：

梯度消失 / 爆炸：当网络层数较深时，梯度可能在反向传播过程中变得极小或极大。解决方案包括：
使用 ReLU 等激活函数
批归一化 (BatchNorm)
梯度裁剪
学习率设置：学习率太大可能导致震荡，太小则收敛缓慢。实践建议：
从 0.01 开始尝试
使用学习率调度器
考虑自适应优化器 (Adam)
优化器选择：
SGD 适合简单任务
Adam 通常是不错的首选
RMSprop 适合 RNN

监控权重变化对于理解模型训练过程非常有帮助。我们可以使用 TensorBoard 或 Matplotlib 实现可视化。

import matplotlib.pyplot as plt

# 在训练循环中添加
if batch_idx % 100 == 0:
    # 获取第一层的权重
    weights = model.fc1.weight.data.numpy()
    plt.hist(weights.flatten(), bins=50)
    plt.title(f'Weight distribution at batch {batch_idx}')
    plt.show()

这个简单的可视化可以帮助我们观察权重分布的变化，及时发现问题。

Q: 为什么某些层的权重不更新？
A: 可能原因包括：
– 学习率设置过低
– 梯度消失
– 该层被冻结 (requires_grad=False)

Q: 如何验证梯度计算是否正确？
A: 可以使用 PyTorch 的 gradcheck 功能：