深度学习入门指南：从BP神经网络到Transformer模型的演进与实践

1次阅读

没有评论

共计 2975 个字符，预计需要花费 8 分钟才能阅读完成。

假设你正在开发一个股票价格预测系统。如果使用传统的 BP 神经网络，可能会发现模型难以捕捉时间序列中的长期依赖关系，导致预测结果波动很大。而换成 LSTM 后，模型突然能够识别出市场趋势的周期性变化，预测准确率提升了 30%。

另一个例子是医疗影像分类。当使用普通 CNN 处理 X 光片时，模型对小病灶的识别率只有 75%。但切换到 EfficientNet 后，通过复合缩放策略，不仅准确率提升到 92%，推理速度还加快了 2 倍。这就是架构选择带来的直接影响。

BP（反向传播）神经网络是最基础的前馈网络，其核心是通过链式法则逐层调整权重。一个典型的三层网络可以表示为：

$$ y = \sigma(W_2\cdot\sigma(W_1x + b_1) + b_2) $$

其中 σ 是 sigmoid 激活函数。但 BP 网络存在明显缺陷：

随着层数增加会出现梯度消失问题
难以处理序列数据等非结构化输入
全连接结构参数量爆炸

单向 LSTM 通过三个门控机制（输入门、遗忘门、输出门）解决长期依赖问题。其核心计算流程为：

# PyTorch 单向 LSTM 实现示例
lstm = nn.LSTM(input_size=100, hidden_size=64, num_layers=2)
output, (h_n, c_n) = lstm(input_sequence)  # input_sequence 形状为[seq_len, batch, features]

双向 LSTM 通过前向和后向两个 LSTM 层捕获上下文信息，特别适合 NER 等任务：

bi_lstm = nn.LSTM(input_size=100, hidden_size=64, num_layers=1, bidirectional=True)

实际对比发现，在文本情感分析任务中，双向 LSTM 比单向版本 F1-score 提高约 5 -8%。

Transformer 的核心是 self-attention 机制，其计算过程为：

$$ Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V $$

PyTorch 实现多头注意力的关键代码：

self.attention = nn.MultiheadAttention(embed_dim=512, num_heads=8)
attn_output, _ = self.attention(query, key, value)

EfficientNet 通过复合缩放统一调整宽度、深度和分辨率：

$$ depth: d = \alpha^\phi $$
$$ width: w = \beta^\phi $$
$$ resolution: r = \gamma^\phi $$

其中约束条件为 $\alpha\cdot\beta^2\cdot\gamma^2≈2$。实际使用时可以直接调用预训练模型：

from efficientnet_pytorch import EfficientNet
model = EfficientNet.from_pretrained('efficientnet-b0')

# 标准化时序数据
scaler = StandardScaler()
train_data = scaler.fit_transform(train_raw)

# 创建滑动窗口样本
def create_dataset(data, look_back=60):
    X, y = [], []
    for i in range(len(data)-look_back):
        X.append(data[i:i+look_back])
        y.append(data[i+look_back])
    return torch.FloatTensor(X), torch.FloatTensor(y)

class StockPredictor(nn.Module):
    def __init__(self, input_dim=1, hidden_dim=64):
        super().__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim, batch_first=True)
        self.linear = nn.Linear(hidden_dim, 1)

    def forward(self, x):
        x, _ = self.lstm(x)  # 输出维度[batch, seq_len, hidden_dim]
        x = x[:, -1, :]  # 只取最后一个时间步
        return self.linear(x)

optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
criterion = nn.MSELoss()

for epoch in range(100):
    for X_batch, y_batch in train_loader:
        pred = model(X_batch)
        loss = criterion(pred, y_batch)

        optimizer.zero_grad()
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  # 梯度裁剪
        optimizer.step()

使用 torchsummary 查看模型结构：

from torchsummary import summary
summary(model, input_size=(64, 60, 1))  # batch_size=64, seq_len=60

模型类型	参数量	显存占用(bs=32)
BP 网络(3 层)	2.1M	1.2GB
单向 LSTM	3.7M	2.4GB
EfficientNet-B0	5.3M	1.8GB

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    output = model(input)
    loss = criterion(output, target)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()