深度学习入门指南：从BP神经网络到Transformer模型的演进与实践

1次阅读

没有评论

共计 2651 个字符，预计需要花费 7 分钟才能阅读完成。

在开始学习深度学习之前，我们先看两个实际场景：

股票价格预测 ：这是一个典型的时间序列预测问题。如果我们使用普通的全连接神经网络（BP 网络），可能会忽略时间维度上的依赖关系，导致预测效果不佳。这时候，具有记忆能力的 LSTM 网络就会更加适合。
医学图像分类 ：对于 CT 或 MRI 图像分析，图像中的局部特征和空间关系至关重要。传统的 BP 网络难以捕捉这些特征，而 CNN（卷积神经网络）或者其变种如 EfficientNet 就能更好地处理这类任务。

这些例子说明，不同的任务需要不同的网络架构，选错了模型可能事倍功半。

BP（Back Propagation）神经网络是最基础的前馈神经网络，它的核心是通过反向传播算法来调整网络权重。

基本原理 ：输入层→隐藏层→输出层的单向传播，通过损失函数计算误差后反向调整权重。
局限性 ：
难以处理序列数据（如文本、时间序列）
随着网络加深容易出现梯度消失 / 爆炸
参数数量随输入维度急剧增加

数学表达式：

$$ y = f(Wx + b) $$

其中 $f$ 是激活函数，常用 ReLU 或 Sigmoid。

长短时记忆网络（LSTM）是 RNN 的改进版本，专门设计用来解决长期依赖问题。

单向 LSTM：
只能捕捉正向时序依赖
结构简单，计算量相对较小
适合语音识别等单向依赖强的任务
双向 LSTM：
同时考虑过去和未来上下文
需要两倍计算资源
在 NER、情感分析等 NLP 任务中表现突出

关键结构：遗忘门、输入门、输出门

$$ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) $$

Transformer 完全基于 Attention 机制，彻底改变了 NLP 领域。

Self-Attention 核心 ：
计算输入序列中每个位置与其他位置的关联度
通过 QKV（Query-Key-Value）矩阵实现
允许模型直接关注相关信息，无论距离远近

多头注意力公式：

$$ Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V $$

通过复合缩放（Compound Scaling）统一调整网络宽度、深度和分辨率：

宽度缩放 ：增加通道数
深度缩放 ：增加层数
分辨率缩放 ：增大输入尺寸

这种系统化的缩放方式使得 EfficientNet 在 ImageNet 上达到 SOTA 效果，同时保持高效。

import torch
import torch.nn as nn

# 定义双向 LSTM 模型
class BiLSTMClassifier(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_size, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_size, 
                           bidirectional=True, batch_first=True)
        self.fc = nn.Linear(hidden_size*2, num_classes)  # 双向需要 *2

    def forward(self, x):
        x = self.embedding(x)  # [batch, seq_len] -> [batch, seq_len, embed_dim]
        out, _ = self.lstm(x)  # 输出维度 [batch, seq_len, hidden_size*2]
        out = out[:, -1, :]    # 取最后一个时间步
        return self.fc(out)

# 模型结构查看
from torchsummary import summary
model = BiLSTMClassifier(vocab_size=10000, embed_dim=128, 
                        hidden_size=256, num_classes=10)
summary(model, input_size=(32, 100))  # batch=32, seq_len=100

# 使用 PyTorch 内置 Transformer
encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8, dim_feedforward=2048)
transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)