深入解析4×4方格世界的完整MDP模型：从理论到实现

1次阅读

没有评论

共计 1529 个字符，预计需要花费 4 分钟才能阅读完成。

马尔可夫决策过程 (MDP) 是强化学习的理论基础，它描述了一个智能体在环境中通过行动获得奖励的学习过程。MDP 由五个核心要素组成：

状态(S)：环境可能处于的所有情况集合
动作(A)：智能体可以执行的所有操作
转移概率(P)：执行某动作后状态转移的概率分布
奖励(R)：状态转移后获得的即时奖励
折扣因子(γ)：未来奖励的衰减系数

在 4×4 方格世界中，这些概念都有直观的表现形式，我们接下来会具体展开。

4×4 方格世界是一个经典的强化学习教学环境，由一个 4 行 4 列的网格组成。在这个世界中：

每个格子代表一个状态，共 16 个状态
智能体可以执行上、下、左、右四种动作
目标是找到从起始状态 (通常为(0,0)) 到终止状态 (通常为(3,3)) 的最优路径
碰到边界时保持原地不动
某些格子可能是障碍物或陷阱

在理想情况下，执行某个动作会 100% 转移到预期状态。但在实际建模中，我们通常会考虑：

80% 概率按预期方向移动
10% 概率向左偏转
10% 概率向右偏转

这种设计更贴近现实世界的不确定性。

奖励函数是引导智能体学习的关键：

到达目标状态：+1
掉入陷阱状态：-1
其他普通移动：-0.04(鼓励尽快到达目标)

import numpy as np

# 定义环境参数
GRID_SIZE = 4
ACTIONS = ['up', 'down', 'left', 'right']
GOAL = (3, 3)
TRAP = (1, 1)  # 示例陷阱位置

def get_next_state(state, action):
    """根据当前状态和动作计算下一个状态"""
    i, j = state

    if action == 'up':
        next_state = (max(i-1, 0), j)
    elif action == 'down':
        next_state = (min(i+1, GRID_SIZE-1), j)
    elif action == 'left':
        next_state = (i, max(j-1, 0))
    elif action == 'right':
        next_state = (i, min(j+1, GRID_SIZE-1))

    return next_state

def get_reward(state):
    """定义奖励函数"""
    if state == GOAL:
        return 1
    elif state == TRAP:
        return -1
    else:
        return -0.04