bp前馈神经网络：从数学原理到工程实现的关键技术解析

1次阅读

共计 2231 个字符，预计需要花费 6 分钟才能阅读完成。

前向传播的矩阵表示（以单隐藏层为例）：

$$
\begin{aligned}
Z^{[1]} &= W^{[1]}X + b^{[1]} \
A^{[1]} &= g^{[1]}(Z^{[1]}) \
Z^{[2]} &= W^{[2]}A^{[1]} + b^{[2]} \
A^{[2]} &= g^{[2]}(Z^{[2]})
\end{aligned}
$$

反向传播的链式法则（以 MSE 损失函数为例）：

$$
\frac{\partial J}{\partial W^{[2]}} = \frac{\partial J}{\partial A^{[2]}}\frac{\partial A^{[2]}}{\partial Z^{[2]}}\frac{\partial Z^{[2]}}{\partial W^{[2]}}
$$

Sigmoid：输出范围 (0,1)，易导致梯度消失，适合二分类输出层
$$
\sigma(z) = \frac{1}{1+e^{-z}}
$$
Tanh：输出范围 (-1,1)，梯度幅度优于 Sigmoid
$$
\tanh(z) = \frac{e^z – e^{-z}}{e^z + e^{-z}}
$$
ReLU：计算高效，缓解梯度消失，但可能出现神经元死亡
$$
ReLU(z) = max(0,z)
$$

选型建议 ：
1. 隐藏层优先选用 ReLU 及其变体（LeakyReLU/PReLU）
2. 输出层根据任务类型选择（分类用 Sigmoid/Softmax，回归用 Linear）

import torch
import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, hidden_dim)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_dim, output_dim)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

# 数据准备
train_loader = torch.utils.data.DataLoader(dataset, batch_size=64, shuffle=True)

# 模型配置
model = MLP(input_dim=784, hidden_dim=128, output_dim=10)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(100):
    for inputs, labels in train_loader:
        outputs = model(inputs)
        loss = criterion(outputs, labels)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

StepLR：固定步长衰减

scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

CosineAnnealingLR：余弦退火

scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100)

训练时保存 running_mean 和 running_var
测试时使用累积统计量
不宜与 Dropout 同时使用

best_loss = float('inf')
patience = 10
counter = 0

for epoch in range(100):
    val_loss = validate(model, val_loader)
    if val_loss < best_loss:
        best_loss = val_loss
        counter = 0
    else:
        counter += 1
        if counter >= patience:
            break

model = torch.quantization.quantize_dynamic(model, {nn.Linear}, dtype=torch.qint8
)

转换 PyTorch 模型为 ONNX 格式
使用 trtexec 工具生成优化引擎
部署时加载序列化后的.plan 文件

自适应深度训练 ：
可否通过梯度信号动态调整网络层数？
如何设计有效的深度评估指标？
小样本改进方向 ：
结合元学习（Meta-Learning）框架
引入半监督学习策略
设计特定领域的先验知识模块

在图像分类任务中，当使用三层 MLP 处理 28×28 的 MNIST 数据时，ReLU+Adam 的组合在验证集上达到了 98.2% 准确率。但发现当网络加深到 5 层时，不加入 Batch Normalization 会导致训练准确率卡在 85% 左右，说明深度网络的参数初始化与归一化至关重要。

模型量化后推理速度提升 2.3 倍，但分类准确率仅下降 0.4%，证明该技术在工业场景中的实用价值。后续计划尝试知识蒸馏（Knowledge Distillation）进一步压缩模型尺寸。

正文完