从零构建4×4方格世界的完整MDP模型：强化学习新手实践指南

1次阅读

共计 1886 个字符，预计需要花费 5 分钟才能阅读完成。

4×4 方格世界作为强化学习的经典教学案例，其核心价值体现在三个方面：
1. 状态空间离散：16 个网格单元对应有限状态集合，避免连续空间的处理复杂度
2. 可解释性强：二维平面布局便于可视化策略路径与价值函数分布
3. 完备性验证：小规模状态空间允许精确计算最优策略，验证算法正确性

要素	数学表示	本场景实例化说明
状态空间 $S$	${s_1,…,s_{16}}$	网格坐标 $(x,y), x,y\in[0,3]$
动作空间 $A$	${上, 下, 左, 右}$	四向移动，边界外动作保持原状态
转移概率 $P$	$P(s’\mid s,a)$	确定性转移：执行动作即到达相邻网格
奖励函数 $R$	$R(s,a,s’)$	终点 +100，障碍 -10，每步 -1
折扣因子 $\gamma$	$[0,1]$	典型取值 0.9，平衡即时 / 未来奖励

采用二维坐标离散化表示，状态索引 $k$ 与坐标 $(x,y)$ 的转换公式：
$$k = 4 \times y + x$$
逆向映射：
$$x = k \mod 4, \quad y = \lfloor k/4 \rfloor$$

定义动作映射向量：

action_effects = {0: (-1, 0),  # 上
    1: (1, 0),   # 下
    2: (0, -1),  # 左
    3: (0, 1)    # 右
}

边界检测逻辑：

def is_valid(x, y):
    return 0 <= x < 4 and 0 <= y < 4 and (x,y) not in obstacles

分段函数实现策略：

def get_reward(next_state):
    if next_state == goal:
        return 100
    elif next_state in obstacles:
        return -10
    else:
        return -1  # 步长惩罚

import numpy as np
import matplotlib.pyplot as plt

class GridWorldMDP:
    def __init__(self):
        self.size = 4
        self.goal = (3, 3)
        self.obstacles = [(1, 1), (2, 2)]
        self.actions = [0, 1, 2, 3]  # 上, 下, 左, 右
        self.gamma = 0.9

        # 初始化转移矩阵 |S|x|A|x|S|
        self.P = np.zeros((16, 4, 16))
        self.build_transition_matrix()

    def state_to_idx(self, x, y):
        return y * 4 + x

    def build_transition_matrix(self):
        for x in range(4):
            for y in range(4):
                current = self.state_to_idx(x, y)
                for a in self.actions:
                    dx, dy = self._get_action_effect(a)
                    nx, ny = x + dx, y + dy
                    if not (0 <= nx < 4 and 0 <= ny < 4):
                        nx, ny = x, y  # 碰壁处理
                    next_state = self.state_to_idx(nx, ny)
                    self.P[current, a, next_state] = 1

    def _get_action_effect(self, a):
        return [(-1,0), (1,0), (0,-1), (0,1)][a]

    def render(self, policy=None):
        grid = np.zeros((4,4))
        for obs in self.obstacles:
            grid[obs[1], obs[0]] = -1
        grid[self.goal[1], self.goal[0]] = 2

        plt.figure(figsize=(5,5))
        plt.imshow(grid, cmap='Pastel1')
        # 添加坐标标注与策略箭头
        plt.show()