深入解析简单循环神经网络、GRU和LSTM的单元结构图及函数表达式

1次阅读

没有评论

共计 2109 个字符，预计需要花费 6 分钟才能阅读完成。

循环神经网络（RNN）是一类专门用于处理序列数据的神经网络。与传统的全连接神经网络不同，RNN 引入了时间维度上的循环连接，使得网络能够记住过去的信息。这使得 RNN 在自然语言处理、时间序列预测、语音识别等领域有着广泛的应用。

然而，传统 RNN（Simple RNN）在处理长序列时存在梯度消失或梯度爆炸的问题，这限制了其在复杂任务中的表现。为了解决这些问题，研究人员提出了两种改进的 RNN 结构：门控循环单元（GRU）和长短期记忆网络（LSTM）。

Simple RNN、GRU 和 LSTM 的主要区别在于它们的内部结构和信息流动方式：

Simple RNN：最简单的循环结构，只有一个隐藏状态，容易受到梯度消失问题的影响。
GRU：引入了更新门和重置门，能够更灵活地控制信息流动，结构比 LSTM 简单。
LSTM：包含输入门、遗忘门和输出门三个门控机制，能够更好地处理长期依赖关系。

从计算复杂度来看，Simple RNN 最低，GRU 次之，LSTM 最高。但在实际应用中，GRU 和 LSTM 通常能够取得更好的效果，尤其是在处理长序列时。

Simple RNN 的单元结构非常简单，它通过以下公式更新隐藏状态：

h_t = tanh(W_hh * h_{t-1} + W_xh * x_t + b_h)

其中，h_t 是当前时间步的隐藏状态，h_{t-1} 是前一个时间步的隐藏状态，x_t 是当前输入，W_hh、W_xh 是权重矩阵，b_h 是偏置项。

GRU 引入了两个门控机制：更新门 z_t 和重置门 r_t。它们的计算公式如下：

z_t = σ(W_z * [h_{t-1}, x_t] + b_z)
r_t = σ(W_r * [h_{t-1}, x_t] + b_r)
h̃_t = tanh(W_h * [r_t ⊙ h_{t-1}, x_t] + b_h)
h_t = (1 - z_t) ⊙ h_{t-1} + z_t ⊙ h̃_t

其中，⊙表示逐元素相乘，σ 是 sigmoid 函数。

LSTM 的结构最为复杂，包含三个门控机制：遗忘门 f_t、输入门 i_t 和输出门 o_t。其计算公式为：

f_t = σ(W_f * [h_{t-1}, x_t] + b_f)
i_t = σ(W_i * [h_{t-1}, x_t] + b_i)
o_t = σ(W_o * [h_{t-1}, x_t] + b_o)
C̃_t = tanh(W_C * [h_{t-1}, x_t] + b_C)
C_t = f_t ⊙ C_{t-1} + i_t ⊙ C̃_t
h_t = o_t ⊙ tanh(C_t)

其中，C_t 是细胞状态，负责长期信息的传递。

下面是用 PyTorch 实现这三种模型的代码片段：

import torch
import torch.nn as nn

# Simple RNN
class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size):
        super().__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)

    def forward(self, x):
        out, _ = self.rnn(x)
        return out

# GRU
class GRUModel(nn.Module):
    def __init__(self, input_size, hidden_size):
        super().__init__()
        self.gru = nn.GRU(input_size, hidden_size, batch_first=True)

    def forward(self, x):
        out, _ = self.gru(x)
        return out

# LSTM
class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)

    def forward(self, x):
        out, _ = self.lstm(x)
        return out

在实际应用中，三种模型的性能表现各有优劣：