深度学习基础：循环神经网络(RNN)原理剖析与B站机器学习第二版第十章实战

1次阅读

共计 1962 个字符，预计需要花费 5 分钟才能阅读完成。

循环神经网络（RNN）是深度学习领域中处理序列数据的重要模型。与传统的神经网络不同，RNN 能够利用序列中的时序信息，使其在自然语言处理、语音识别、时间序列预测等任务中表现出色。B 站机器学习第二版第十章将 RNN 作为深度学习基础的重要组成部分，系统地介绍了其原理和应用。

RNN 的核心思想是在处理序列数据时，将前一步的隐藏状态传递到下一步，从而保留历史信息。其数学表达式为：

$$h_t = \sigma(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$$
$$y_t = W_{hy}h_t + b_y$$

其中，$h_t$ 表示 t 时刻的隐藏状态，$x_t$ 表示 t 时刻的输入，$y_t$ 表示 t 时刻的输出，$W$ 表示权重矩阵，$b$ 表示偏置项，$\sigma$ 表示激活函数（通常为 tanh 或 ReLU）。

RNN 的前向传播过程可以表示为：
1. 初始化隐藏状态 $h_0$
2. 对于序列中的每一个时间步 t，计算当前隐藏状态 $h_t$ 和输出 $y_t$
3. 重复步骤 2 直到序列结束

反向传播通过时间（BPTT）算法用于更新 RNN 的参数，其核心是通过链式法则计算梯度并反向传播。

尽管 RNN 在理论上可以处理任意长度的序列，但在实际应用中存在以下主要问题：

梯度消失 / 爆炸问题：在 BPTT 过程中，梯度可能会随着时间步的增加而指数级减小或增大，导致早期时间步的信息无法有效更新参数或参数更新过大。
长期依赖问题：RNN 难以捕捉序列中相隔较远的依赖关系，因为相关信息在传播过程中会逐渐丢失或被稀释。
计算效率问题：由于序列处理是顺序进行的，RNN 难以并行化，训练速度较慢。

以下是基于 PyTorch 实现的一个简单 RNN 模型，用于字符级别的文本生成：

import torch
import torch.nn as nn
import numpy as np

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleRNN, self).__init__()
        self.hidden_size = hidden_size
        self.i2h = nn.Linear(input_size + hidden_size, hidden_size)
        self.i2o = nn.Linear(input_size + hidden_size, output_size)
        self.softmax = nn.LogSoftmax(dim=1)

    def forward(self, input, hidden):
        combined = torch.cat((input, hidden), 1)
        hidden = torch.tanh(self.i2h(combined))
        output = self.softmax(self.i2o(combined))
        return output, hidden

    def initHidden(self):
        return torch.zeros(1, self.hidden_size)

# 示例使用
input_size = 57  # 假设有 57 个不同的字符
hidden_size = 128
output_size = 57

rnn = SimpleRNN(input_size, hidden_size, output_size)

为了解决 RNN 的缺陷，研究人员提出了多种改进结构：