循环神经网络(RNN)入门指南：为什么它是处理序列数据的理想选择

1次阅读

没有评论

共计 2276 个字符，预计需要花费 6 分钟才能阅读完成。

序列数据是指具有时间或顺序依赖性的数据，比如文本（字符序列）、语音（音频帧序列）、股票价格（时间序列）等。这类数据的核心特点是：当前时刻的数据往往与之前时刻的数据存在关联。

传统全连接神经网络在处理这类数据时面临两个主要问题：

固定输入尺寸：要求所有输入数据具有相同的维度，但序列长度通常可变
缺乏记忆能力：网络无法保留之前输入的信息，每次处理都是独立的

循环神经网络通过引入 ” 循环 ” 机制解决了上述问题。其核心思想可以用这个公式表示：

$$ h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b) $$

这里的关键概念：

隐藏状态(h)：RNN 的 ” 记忆 ”，保存了到当前时刻为止的历史信息
时间展开：RNN 在不同时间步共享相同的参数(W_{hh}, W_{xh})
循环连接：当前状态的输出会作为下一时间步的输入

这种结构使得 RNN 可以：

处理任意长度的序列
捕获序列中的时间依赖关系
参数数量不随序列长度增加

以一个简单的文本预测任务为例，比较两种网络的表现：

特性	全连接网络	RNN
输入处理	独立处理每个词	考虑上下文关系
参数数量	随序列长度线性增长	固定
记忆能力	无	通过隐藏状态保存历史信息
输出依赖	仅依赖当前输入	依赖整个历史序列

RNN 的 ” 记忆 ” 特性使其特别适合需要理解上下文的任务，比如：

预测句子中的下一个单词
理解视频中的动作序列
分析股票价格的波动模式

下面我们实现一个简单的字符级文本生成 RNN。完整代码如下：

import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, SimpleRNN
from tensorflow.keras.utils import to_categorical

# 1. 数据准备
text = "hello world"  # 示例文本
chars = sorted(list(set(text)))
char_to_idx = {c:i for i,c in enumerate(chars)}
idx_to_char = {i:c for i,c in enumerate(chars)}

# 将文本转换为训练序列
seq_length = 3
X = []
y = []
for i in range(len(text)-seq_length):
    seq_in = text[i:i+seq_length]
    seq_out = text[i+seq_length]
    X.append([char_to_idx[char] for char in seq_in])
    y.append(char_to_idx[seq_out])

# 转换为模型需要的格式
X = np.reshape(X, (len(X), seq_length, 1))
X = X / float(len(chars))  # 归一化
y = to_categorical(y)  # one-hot 编码

# 2. 构建 RNN 模型
model = Sequential([SimpleRNN(32, input_shape=(X.shape[1], X.shape[2])),
    Dense(y.shape[1], activation='softmax')
])
model.compile(loss='categorical_crossentropy', optimizer='adam')

# 3. 训练模型
model.fit(X, y, epochs=100, batch_size=1, verbose=2)

# 4. 测试预测
pattern = 'hel'
x = np.reshape([char_to_idx[c] for c in pattern], (1, len(pattern), 1))
x = x / float(len(chars))
prediction = model.predict(x, verbose=0)
index = np.argmax(prediction)
result = idx_to_char[index]
print(f"'{pattern}' -> '{result}'")  # 输出: 'hel' -> 'l'

代码关键点说明：