神经网络架构全解析：前馈、反馈与双向网络的原理对比与实战指南

1次阅读

共计 1529 个字符，预计需要花费 4 分钟才能阅读完成。

刚接触神经网络时，面对时序数据（如股价预测）或空间数据（如图片分类），新手常会纠结该选哪种架构。前馈网络简单但怕序列数据，RNN 能处理时序却训练慢，双向网络效果好但吃资源 … 这种选择困难往往导致模型效果不理想或训练效率低下。

维度	前馈网络(MLP)	反馈网络(RNN/LSTM)	双向网络(BiRNN)
数据流向	单向逐层传递，无循环连接	含循环连接，当前时刻受历史影响	正反双向循环，捕捉上下文依赖
计算复杂度	O(L×H) L 为层数，H 为隐藏单元数	O(T×H²) T 为序列长度	O(2T×H²) 双向计算量翻倍
典型场景	MNIST 分类、房价预测	语音识别、股票预测	机器翻译、命名实体识别

import torch.nn as nn

class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.layers = nn.Sequential(nn.Flatten(),
            nn.Linear(28*28, 512),  # 输入展平为 1D
            nn.ReLU(),
            nn.Linear(512, 10)     # 无记忆单元
        )

    def forward(self, x):
        return self.layers(x)

class LSTMNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.lstm = nn.LSTM(input_size=28, hidden_size=128, batch_first=True) 
        # 将图像每行视为时间步
        self.fc = nn.Linear(128, 10)

    def forward(self, x):
        x = x.squeeze(1)  # (batch, channel, height,width)→(batch, height,width)
        out, _ = self.lstm(x)  # 输出含序列信息
        return self.fc(out[:, -1, :])  # 取最后时间步

class BiLSTM(nn.Module):
    def __init__(self):
        super().__init__()
        self.lstm = nn.LSTM(28, 64, bidirectional=True, batch_first=True)
        self.fc = nn.Linear(128, 10)  # 双向拼接后维度翻倍

    def forward(self, x):
        x = x.squeeze(1)
        out, _ = self.lstm(x)
        return self.fc(out[:, -1, :])