BP神经网络与Transformer入门指南：从基础原理到实战应用

1次阅读

没有评论

共计 2357 个字符，预计需要花费 6 分钟才能阅读完成。

对于机器学习新手来说，BP 神经网络和 Transformer 是两大基础模型，但学习过程中常常会遇到以下困惑：

概念混淆 ：不清楚 BP 神经网络和前馈神经网络的区别，容易把 Transformer 和 BP 神经网络混为一谈
数学恐惧 ：反向传播的链式求导、注意力机制的权重计算等数学原理让人望而生畏
实现障碍 ：知道理论但不知道如何用代码实现，调试时遇到梯度消失 / 爆炸等问题无从下手
选择困难 ：面对具体问题时不知道该选用哪种模型更合适

BP 神经网络（Backpropagation Neural Network）:

典型的前馈神经网络结构
包含输入层、隐藏层和输出层
采用全连接方式，相邻层神经元全部相连
通过反向传播算法更新权重

Transformer:

基于自注意力机制的架构
核心组件包括多头注意力层和前馈神经网络层
使用位置编码处理序列数据的位置信息
摒弃了传统的循环或卷积结构

BP 神经网络:

前向传播计算输出
计算损失函数
反向传播更新权重
重复直到收敛

Transformer:

输入嵌入和位置编码
多头注意力计算
前馈网络处理
残差连接和层归一化
同样使用反向传播，但参数更新方式更复杂

BP 神经网络适合:

结构化数据分类 / 回归
数据量中等的问题
不需要考虑序列关系的场景

Transformer 擅长:

自然语言处理任务
长序列建模
需要捕捉全局依赖关系的场景

import torch
import torch.nn as nn
import torch.optim as optim

class BPNet(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(BPNet, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)  # 输入层到隐藏层
        self.relu = nn.ReLU()  # 激活函数
        self.fc2 = nn.Linear(hidden_size, output_size)  # 隐藏层到输出层

    def forward(self, x):
        out = self.fc1(x)
        out = self.relu(out)
        out = self.fc2(out)
        return out

# 示例使用
model = BPNet(input_size=10, hidden_size=50, output_size=2)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

import torch
import torch.nn as nn
import math

class TransformerBlock(nn.Module):
    def __init__(self, embed_size, heads):
        super(TransformerBlock, self).__init__()
        self.attention = nn.MultiheadAttention(embed_size, heads)
        self.norm1 = nn.LayerNorm(embed_size)
        self.norm2 = nn.LayerNorm(embed_size)
        self.ff = nn.Sequential(nn.Linear(embed_size, 4*embed_size),
            nn.ReLU(),
            nn.Linear(4*embed_size, embed_size)
        )

    def forward(self, x):
        attn_output, _ = self.attention(x, x, x)
        x = self.norm1(attn_output + x)
        ff_output = self.ff(x)
        out = self.norm2(ff_output + x)
        return out

# 示例使用
transformer = TransformerBlock(embed_size=512, heads=8)