深入解析长短期记忆网络（LSTM）：从基础原理到实战应用

1次阅读

共计 2657 个字符，预计需要花费 7 分钟才能阅读完成。

循环神经网络（RNN）是处理序列数据的经典模型，但在处理长序列时面临梯度消失或梯度爆炸问题。这导致 RNN 难以学习长期依赖关系，限制了其在长序列任务中的应用。长短期记忆网络（LSTM）由 Hochreiter 和 Schmidhuber 于 1997 年提出，通过引入门控机制有效解决了这一问题。

LSTM 的核心创新在于其能够选择性地记住或遗忘信息，从而克服了传统 RNN 的梯度消失问题。这一特性使得 LSTM 在自然语言处理、时间序列预测等领域表现出色。

LSTM 通过三个关键门控机制来控制信息的流动：

遗忘门（Forget Gate）：决定哪些信息应该被丢弃。其数学表达式为：

f_t = σ(W_f · [h_{t-1}, x_t] + b_f)

其中 σ 是 sigmoid 函数，输出在 0 到 1 之间，表示保留信息的比例。

输入门（Input Gate）：决定哪些新信息应该被存储。包含两部分计算：

i_t = σ(W_i · [h_{t-1}, x_t] + b_i)
C̃_t = tanh(W_C · [h_{t-1}, x_t] + b_C)

首先计算输入门的值，然后生成候选记忆内容。

输出门（Output Gate）：决定当前时刻的输出。计算方式为：

o_t = σ(W_o · [h_{t-1}, x_t] + b_o)
h_t = o_t * tanh(C_t)

最终，细胞状态更新公式为：

C_t = f_t * C_{t-1} + i_t * C̃_t

以下是使用 TensorFlow/Keras 实现 LSTM 进行时间序列预测的完整代码：

import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense
from sklearn.preprocessing import MinMaxScaler

# 1. 数据准备
def create_dataset(data, time_step=1):
    X, y = [], []
    for i in range(len(data)-time_step-1):
        X.append(data[i:(i+time_step), 0])
        y.append(data[i+time_step, 0])
    return np.array(X), np.array(y)

# 2. 数据预处理
data = np.sin(np.arange(0, 100, 0.1)).reshape(-1, 1)
scaler = MinMaxScaler(feature_range=(0, 1))
data = scaler.fit_transform(data)

# 3. 划分训练集和测试集
train_size = int(len(data) * 0.67)
test_size = len(data) - train_size
train, test = data[0:train_size,:], data[train_size:len(data),:]

time_step = 10
X_train, y_train = create_dataset(train, time_step)
X_test, y_test = create_dataset(test, time_step)

# 4. 重塑输入为 [样本数, 时间步长, 特征维度]
X_train = X_train.reshape(X_train.shape[0], X_train.shape[1], 1)
X_test = X_test.reshape(X_test.shape[0], X_test.shape[1], 1)

# 5. 构建 LSTM 模型
model = Sequential()
model.add(LSTM(50, return_sequences=True, input_shape=(time_step, 1)))
model.add(LSTM(50, return_sequences=False))
model.add(Dense(1))

model.compile(optimizer='adam', loss='mean_squared_error')

# 6. 训练模型
model.fit(X_train, y_train, batch_size=64, epochs=100, validation_data=(X_test, y_test))

# 7. 预测
train_predict = model.predict(X_train)
test_predict = model.predict(X_test)

# 8. 反归一化
train_predict = scaler.inverse_transform(train_predict)
y_train = scaler.inverse_transform([y_train])
test_predict = scaler.inverse_transform(test_predict)
y_test = scaler.inverse_transform([y_test])

优化 LSTM 模型性能的关键超参数包括：