从BP神经网络到Transformer：深度学习模型演进与实战选型指南

1次阅读

共计 2955 个字符，预计需要花费 8 分钟才能阅读完成。

在深度学习的发展历程中，BP 神经网络（反向传播神经网络）是最早被广泛应用的模型之一。它通过反向传播算法调整权重，能够拟合各种复杂的非线性关系。然而，BP 神经网络在处理时序数据和图像分类等任务时，存在明显的局限性：

时序数据处理能力弱：BP 神经网络缺乏记忆机制，无法有效捕捉时间序列中的长期依赖关系。
梯度消失 / 爆炸问题：随着网络层数的增加，梯度在反向传播过程中容易消失或爆炸，导致训练困难。
计算效率低：全连接层的参数量庞大，尤其是在高维数据（如图像）上，计算开销巨大。

这些问题促使研究者开发出更高效的模型，如 LSTM 和 Transformer，以解决这些核心痛点。

下表对比了 BP 神经网络、单向 LSTM、双向 LSTM、Transformer 和 EfficientNet 在多个维度的差异：

模型	参数量	训练速度	长序列处理能力	适用场景
BP 神经网络	高	慢	弱	简单分类 / 回归任务
单向 LSTM	中等	中等	较强	时序数据预测
双向 LSTM	较高	较慢	强	双向上下文依赖任务
Transformer	高	慢（需优化）	极强	长序列、多模态任务
EfficientNet	低 - 高可调	快	不适用	图像分类 / 目标检测

以下是一个用 PyTorch 实现双向 LSTM 处理时序数据的完整代码示例，包含数据标准化和梯度裁剪等关键步骤：

import torch
import torch.nn as nn
from torch.utils.data import DataLoader, TensorDataset

# 数据标准化
class StandardScaler:
    def __init__(self):
        self.mean = None
        self.std = None

    def fit(self, data):
        self.mean = data.mean(axis=0)
        self.std = data.std(axis=0)

    def transform(self, data):
        return (data - self.mean) / self.std

# 双向 LSTM 模型
class BiLSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(BiLSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=True)
        self.fc = nn.Linear(hidden_size * 2, output_size)  # 双向 LSTM 的输出维度是 hidden_size * 2

    def forward(self, x):
        # x shape: (batch_size, seq_len, input_size)
        h0 = torch.zeros(self.num_layers * 2, x.size(0), self.hidden_size).to(x.device)  # 双向 LSTM 初始状态
        c0 = torch.zeros(self.num_layers * 2, x.size(0), self.hidden_size).to(x.device)
        out, _ = self.lstm(x, (h0, c0))  # out shape: (batch_size, seq_len, hidden_size * 2)
        out = self.fc(out[:, -1, :])  # 取最后一个时间步的输出
        return out

# 训练循环示例
def train_model(model, dataloader, criterion, optimizer, clip_value=1.0):
    model.train()
    for batch_x, batch_y in dataloader:
        optimizer.zero_grad()
        outputs = model(batch_x)
        loss = criterion(outputs, batch_y)
        loss.backward()
        # 梯度裁剪
        torch.nn.utils.clip_grad_norm_(model.parameters(), clip_value)
        optimizer.step()

Transformer 的核心是 Self-Attention 机制，其计算过程如下：

输入表示：将输入序列映射为 Query (Q)、Key (K)、Value (V) 三个矩阵。
注意力分数计算：通过点积计算 Q 和 K 的相似度，然后除以√d_k（d_k 是 K 的维度）进行缩放。
Softmax 归一化：对注意力分数进行 Softmax 操作，得到权重分布。
加权求和：用权重分布对 V 进行加权求和，得到最终的输出。

公式表示为：
[\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]

EfficientNet 通过复合缩放系数（Compound Scaling）统一调整网络的深度、宽度和分辨率，以实现更高的效率。具体调参方法如下：

深度缩放：增加网络层数，通常用系数 φ 控制。
宽度缩放：增加每层的通道数，用系数 α 控制。
分辨率缩放：增加输入图像的分辨率，用系数 β 控制。

三者的关系为：
[\alpha \cdot \beta^2 \approx 2^\phi]

在将 LSTM 模型转换为 ONNX 格式时，需要注意序列长度会被固定为训练时的长度。解决方法包括：

使用动态轴（Dynamic Axes）指定可变维度。
在导出 ONNX 模型时，设置 dynamic_axes 参数。

示例代码：

torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    dynamic_axes={"input": {0: "batch_size", 1: "seq_len"}, "output": {0: "batch_size"}},
)