2025李宏毅强化学习系列课程核心技术解析与实践指南

1次阅读

没有评论

共计 1960 个字符，预计需要花费 5 分钟才能阅读完成。

近年来，强化学习（Reinforcement Learning, RL）在游戏 AI、机器人控制、自动驾驶等领域取得了显著进展。到 2025 年，RL 技术正朝着以下几个方向发展：

样本效率提升 ：通过元学习、模仿学习等技术减少训练所需的交互数据量
多任务泛化能力 ：利用分层结构和课程学习实现跨任务的技能迁移
安全性与可解释性 ：引入约束优化和注意力机制使决策过程更透明

李宏毅教授的强化学习课程始终紧跟前沿，2025 版课程特别聚焦于解决实际工程中的三大核心挑战：稀疏奖励下的高效探索、长期信用分配问题以及训练稳定性控制。

在迷宫导航等场景中，智能体可能经历数百步都得不到有效奖励。课程提出的分层强化学习框架（HRL）通过引入：

$$\mathcal{G}(s_t, g) = \mathbb{E}[\sum_{k=0}^K \gamma^k r_{t+k}|g]$$

其中高层策略负责生成子目标 $g$，底层策略学习实现具体动作。这种时间抽象机制使奖励信号能够穿透更长的时间跨度。

传统 $\epsilon$-greedy 在复杂环境中效率低下。课程演示的基于内在好奇心的探索方法：

$$r^i_t = \eta | \hat{f}(s_t,a_t) – s_{t+1} |^2$$

通过预测环境动态的误差作为额外奖励，鼓励智能体访问状态空间中的新颖区域。

针对价值函数估计的波动问题，课程改进了双 Q -learning 架构：

$$ y = r + \gamma Q_{\theta’}(s’, \arg\max_a Q_\theta(s’,a)) $$

采用延迟更新的目标网络 $\theta’$ 有效缓解了过高估计问题。

import torch
import torch.nn as nn
import torch.optim as optim

class HighLevelPolicy(nn.Module):
    def __init__(self, state_dim, goal_dim):
        super().__init__()
        self.net = nn.Sequential(nn.Linear(state_dim, 64),
            nn.ReLU(),
            nn.Linear(64, goal_dim)  # 输出子目标空间
        )

    def forward(self, state):
        return self.net(state)

class LowLevelPolicy(nn.Module):
    def __init__(self, state_goal_dim, action_dim):
        super().__init__()
        # 将状态和子目标拼接作为输入
        self.q_net = nn.Sequential(nn.Linear(state_goal_dim, 64),
            nn.ReLU(),
            nn.Linear(64, action_dim)
        )

    def forward(self, state, goal):
        return self.q_net(torch.cat([state, goal], dim=-1))

# 训练循环关键片段
for epoch in range(epochs):
    # 高层策略生成子目标
    current_goal = high_level_policy(state)

    # 底层策略执行动作
    q_values = low_level_policy(state, current_goal)
    action = q_values.argmax()

    # 环境交互
    next_state, reward, done = env.step(action)

    # 课程提出的优先经验回放
    replay_buffer.add(state, action, reward, next_state, done, priority=abs(reward))

采用参数服务器架构时，课程建议使用：