深度强化学习实战入门：170页PPT精华解读与代码实现

1次阅读

没有评论

共计 2101 个字符，预计需要花费 6 分钟才能阅读完成。

刚接触深度强化学习 (DRL) 时，我和大多数初学者一样遇到了三大拦路虎：

数学门槛高：贝尔曼方程、概率论、梯度下降 … 各种公式扑面而来
概念抽象：价值函数、策略梯度这些名词听起来就像天书
动手困难：看了很多理论，却不知道怎么写第一行代码

这就像学游泳，光看教材不下水永远学不会。接下来，我会用最直白的语言带大家理解核心概念，并配合可运行的代码示例。

想象你在玩超级玛丽游戏：

状态(State)：当前屏幕画面
动作(Action)：按方向键或跳跃键
奖励(Reward)：吃到金币 +100，碰到敌人 -50
策略(Policy)：看到敌人就跳起的规则

MDP 就是描述这种 ” 当前决策只依赖现在状态 ” 的数学模型。

这是 DRL 中最关键的 ” 评分系统 ”：

状态价值 V(s)：在这个位置能获得多少总分
动作价值 Q(s,a)：选择某个动作后能得多少分

通过不断更新这些评分，智能体就学会了哪些行为更有利。

算法	优点	缺点	适用场景
Q-Learning	简单直观	无法处理高维状态	离散动作小规模问题
DQN	能处理图像等复杂输入	训练不稳定	游戏、机器人控制
Policy Gradient	直接优化策略	样本效率低	连续动作控制

我们先创建一个简单的网格世界环境：

import numpy as np

class GridWorld:
    def __init__(self):
        self.grid = np.zeros((5, 5))
        self.goal = (4, 4)
        self.state = (0, 0)

    def step(self, action):
        # 0: 上, 1: 右, 2: 下, 3: 左
        x, y = self.state
        if action == 0: x = max(0, x-1)
        elif action == 1: y = min(4, y+1)
        elif action == 2: x = min(4, x+1)
        else: y = max(0, y-1)

        self.state = (x, y)
        reward = 10 if (x,y) == self.goal else -1
        done = (x,y) == self.goal
        return self.state, reward, done

接下来实现 DQN 网络：

import torch
import torch.nn as nn

class DQN(nn.Module):
    def __init__(self, state_dim, action_dim):
        super().__init__()
        self.fc1 = nn.Linear(state_dim, 64)
        self.fc2 = nn.Linear(64, 64)
        self.fc3 = nn.Linear(64, action_dim)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        return self.fc3(x)

训练循环关键代码：

def train(env, model, episodes=1000):
    optimizer = torch.optim.Adam(model.parameters())
    memory = []  # 经验回放缓存

    for ep in range(episodes):
        state = env.reset()
        done = False
        total_reward = 0

        while not done:
            # ε-greedy 策略
            if random.random() < epsilon:
                action = random.randint(0, 3)
            else:
                with torch.no_grad():
                    q_values = model(torch.FloatTensor(state))
                    action = q_values.argmax().item()

            next_state, reward, done = env.step(action)
            memory.append((state, action, reward, next_state, done))

            # 从记忆库采样训练
            if len(memory) >= batch_size:
                batch = random.sample(memory, batch_size)
                # ... 省略 Q 值计算和反向传播代码...

        print(f"Episode {ep}, Reward: {total_reward}")