4×4方格世界的完整MDP模型：从理论到实现

1次阅读

没有评论

共计 1741 个字符，预计需要花费 5 分钟才能阅读完成。

马尔可夫决策过程（MDP）是强化学习中最基础的数学模型之一，用于描述智能体在环境中的决策过程。MDP 的核心思想是：当前的状态包含了所有必要的信息，未来的状态只依赖于当前状态和采取的动作。这种特性被称为“马尔可夫性”。

在强化学习中，MDP 模型的重要性不言而喻。它为智能体提供了一个框架，使其能够通过与环境交互来学习最优策略。无论是简单的方格世界，还是复杂的机器人控制任务，MDP 模型都能帮助我们系统地分析和解决问题。

我们以经典的 4×4 方格世界为例，构建一个完整的 MDP 模型。在这个世界中：

环境是一个 4×4 的网格，共有 16 个状态。
智能体可以从一个格子移动到相邻的格子，动作空间包括上、下、左、右四个方向。
某些格子可能是“陷阱”或“目标”，到达这些格子会获得相应的奖励或惩罚。
智能体的目标是找到从起始点到目标点的最优路径，同时避免陷阱。

状态空间是 MDP 模型的核心之一。在 4×4 方格世界中，每个格子代表一个状态，因此状态空间可以表示为：

states = [(i, j) for i in range(4) for j in range(4)]

动作空间定义了智能体可以采取的动作。在方格世界中，动作通常是移动方向：

actions = ['up', 'down', 'left', 'right']

奖励函数用于指导智能体的学习。例如，可以设定：

到达目标格子：+10
掉入陷阱格子：-10
其他格子：-1（鼓励智能体尽快找到目标）

def reward(state):
    if state == GOAL:
        return 10
    elif state in TRAPS:
        return -10
    else:
        return -1

转移概率矩阵描述了在某个状态下采取某个动作后，转移到下一个状态的概率。在确定性环境中，转移概率通常是 1 或 0。例如：

def transition_probability(state, action, next_state):
    if next_state == compute_next_state(state, action):
        return 1.0
    else:
        return 0.0

以下是一个简单的 Python 实现，展示如何构建 4×4 方格世界的 MDP 模型：

import numpy as np

# 定义状态空间
states = [(i, j) for i in range(4) for j in range(4)]

# 定义动作空间
actions = ['up', 'down', 'left', 'right']

# 定义目标和陷阱
GOAL = (3, 3)
TRAPS = [(1, 1), (2, 2)]

# 奖励函数
def reward(state):
    if state == GOAL:
        return 10
    elif state in TRAPS:
        return -10
    else:
        return -1

# 转移函数
def compute_next_state(state, action):
    i, j = state
    if action == 'up' and i > 0:
        return (i - 1, j)
    elif action == 'down' and i < 3:
        return (i + 1, j)
    elif action == 'left' and j > 0:
        return (i, j - 1)
    elif action == 'right' and j < 3:
        return (i, j + 1)
    else:
        return state  # 无法移动时保持原地

不同的策略会导致不同的性能表现。例如：