循环神经网络(RNN)入门指南：从基础原理到文本分类实战

1次阅读

共计 1732 个字符，预计需要花费 5 分钟才能阅读完成。

传统神经网络在处理时序数据时会遇到两个致命问题：

无法记忆历史信息：每个输入被独立处理，前一个输入和后一个输入之间没有联系。比如分析 ” 我出生在法国，我说流利的___” 这句话时，传统神经网络无法利用前文 ” 法国 ” 这个关键信息来预测 ” 法语 ”。
固定输入长度限制：要求所有输入数据长度一致，但现实中文本、语音等时序数据的长度千差万别。

RNN 通过引入 ” 记忆 ” 机制解决了上述问题：

循环连接：网络中存在一个循环结构，使得信息可以从当前步骤传递到下一步骤
隐藏状态(hidden state)：相当于网络的 ” 记忆 ”，保存了之前处理过的所有输入信息的压缩表示

h_t = tanh(W_hh * h_{t-1} + W_xh * x_t + b_h)
y_t = W_hy * h_t + b_y

h_t：当前时刻的隐藏状态
x_t：当前时刻的输入
y_t：当前时刻的输出
W_*和b_*：可训练的参数矩阵和偏置项

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

# 文本向量化
tokenizer = Tokenizer(num_words=10000)
tokenizer.fit_on_texts(train_texts)
sequences = tokenizer.texts_to_sequences(train_texts)

# 统一序列长度
max_len = 200  # 根据数据分布选择合适值
data = pad_sequences(sequences, maxlen=max_len)

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, SimpleRNN, Dense

model = Sequential([Embedding(10000, 32, input_length=max_len),  # 词嵌入层
    SimpleRNN(64, return_sequences=False),      # 核心 RNN 层
    Dense(1, activation='sigmoid')              # 二分类输出层
])

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

history = model.fit(
    train_data, train_labels,
    epochs=10,
    batch_size=32,
    validation_split=0.2
)

# 评估模型
test_loss, test_acc = model.evaluate(test_data, test_labels)
print(f'Test accuracy: {test_acc:.4f}')

处理长序列问题：
使用 LSTM/GRU 替代基础 RNN 单元
添加注意力机制
缓解梯度问题：
梯度裁剪：tf.clip_by_global_norm
权重初始化：使用正交初始化
提升训练效率：
使用 CuDNN 加速版本：CuDNNLSTM/CuDNNGRU
合理设置 return_sequences 参数

经典论文：
《Long Short-Term Memory》(1997)
《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》(2014)
开源项目：
TensorFlow 官方 RNN 教程
PyTorch 的 seq2seq 实现示例
后续学习方向：
双向 RNN(Bi-RNN)
注意力机制
Transformer 架构