从BP神经网络到Transformer：深度学习模型演进与实战选型指南

1次阅读

共计 1747 个字符，预计需要花费 5 分钟才能阅读完成。

在时序预测和图像分类任务中，传统的 BP 神经网络（反向传播神经网络）存在几个明显的局限性：

时序依赖处理能力弱：BP 网络缺乏记忆机制，难以捕捉时间序列数据中的长期依赖关系。
固定长度输入限制：传统网络要求输入数据具有固定的维度，无法灵活处理变长序列。
特征提取效率低：对于图像数据，BP 网络的密集连接方式难以有效提取局部特征。

这些局限性促使了 LSTM 和 Transformer 等新型架构的发展。

模型类型	参数量	训练速度	长序列处理	并行计算	适用场景
BP 神经网络	中等	快	差	好	简单分类 / 回归
单向 LSTM	较大	慢	较好	差	时序预测
双向 LSTM	大	很慢	好	差	完整上下文理解
Transformer	很大	中等	优秀	好	长序列 / 跨模态任务
EfficientNet	可调节	快	–	好	图像分类

import torch
import torch.nn as nn

class BiLSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super(BiLSTMModel, self).__init__()
        # input_size: 输入特征维度
        # hidden_size: 隐藏层维度
        # num_layers: LSTM 层数
        self.lstm = nn.LSTM(
            input_size=input_size,
            hidden_size=hidden_size,
            num_layers=num_layers,
            bidirectional=True,  # 启用双向
            batch_first=True
        )
        self.fc = nn.Linear(hidden_size*2, output_size)  # 双向输出拼接

    def forward(self, x):
        # x shape: (batch_size, seq_len, input_size)
        out, _ = self.lstm(x)  # out shape: (batch_size, seq_len, hidden_size*2)
        out = self.fc(out[:, -1, :])  # 取最后时间步输出
        return out

关键实现技巧：

数据标准化：时序数据建议使用 sklearn.preprocessing.StandardScaler 进行归一化
梯度裁剪：添加 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) 防止梯度爆炸
序列长度对齐：使用 pad_sequence 处理变长序列

           Query                      Key                       Value
            |                          |                          |
            v                          v                          v
输入序列 -> Linear -> 矩阵乘法 -> Softmax -> 矩阵乘法 -> 加权求和 -> 输出
                          |
                          v
                    注意力权重

Self-Attention 的核心是计算查询 (Query)、键(Key) 和值 (Value) 三个矩阵的交互，通过缩放点积得到注意力权重。

EfficientNet 通过复合缩放系数 (φ) 统一调整网络的深度、宽度和分辨率：