Atari游戏中的强化学习SOTA模型：从原理到工程实践

1次阅读

共计 1731 个字符，预计需要花费 5 分钟才能阅读完成。

Atari 游戏环境因其高维观测空间和稀疏奖励特性，长期以来被视为检验强化学习（Reinforcement Learning, RL）算法的试金石。像素级输入（210×160 RGB 图像）和延迟奖励（如 Breakout 中需连续击中多块砖）导致传统 RL 方法面临样本效率低下和信用分配困难两大核心挑战。近年通过结合深度神经网络与改进的 RL 框架，研究者已开发出多个 State-of-the-Art（SOTA）模型显著提升性能。

2018 年提出的 Rainbow 模型首次整合六种 DQN 改进技术（Double Q-Learning、Dueling Networks 等），在数据利用效率上实现突破。其关键技术包括：

分布式强化学习 ：用价值分布（Value Distribution）代替期望值，缓解稀疏奖励下的训练不稳定
优先级经验回放 ：通过 TD-error 加权采样，重点学习 ” 困难 ” 样本

2020 年发布的 Agent57 进一步引入：

元控制器自动调节探索系数 ε 与折扣因子 γ
长短时记忆（LSTM）模块处理部分可观测状态
混合内在奖励机制（好奇心驱动 + 基于状态的探索）

横向对比显示，Agent57 在 57 款 Atari 游戏上全部超越人类水平，其平均训练帧数较 Rainbow 减少 40%。

graph TD
    A[输入帧堆叠] --> B(卷积块)
    B --> C[LSTM 单元]
    C --> D[优势流]
    C --> E[价值流]
    D & E --> F[聚合层]
    F --> G[价值分布输出]

class Agent57(nn.Module):
    def __init__(self, action_dim):
        super().__init__()
        self.conv = nn.Sequential(nn.Conv2d(4, 32, 8, stride=4),  # 帧堆叠处理
            nn.ReLU(),
            nn.Conv2d(32, 64, 4, stride=2),
            nn.ReLU())
        self.lstm = nn.LSTMCell(64*7*7, 512)
        self.advantage = NoisyLinear(512, action_dim)  # 噪声层促进探索
        self.value = NoisyLinear(512, 1)

    def forward(self, x, hx=None):
        batch_size = x.size(0)
        x = self.conv(x).view(batch_size, -1)
        hx, cx = self.lstm(x, hx)
        adv = self.advantage(hx)
        val = self.value(hx).expand_as(adv)
        return val + adv - adv.mean(1, keepdim=True), (hx, cx)