MuJoCo Playground机器人强化学习入门：从环境搭建到策略训练实战

1次阅读

共计 2745 个字符，预计需要花费 7 分钟才能阅读完成。

MuJoCo（Multi-Joint dynamics with Contact）是一个专注于机器人控制和生物力学研究的物理引擎，在强化学习领域广受欢迎。它的优势主要体现在几个方面：

高精度动力学模拟：MuJoCo 能够准确模拟多关节物体的运动和接触力学，这对于机器人控制任务至关重要。
GPU 加速支持：相比其他物理引擎，MuJoCo 在 GPU 上的运行效率更高，可以显著加快训练速度。
直观的 XML 建模：使用简单的 XML 文件就能定义复杂的机器人模型和环境。
丰富的 API 支持：提供 Python 绑定，与主流深度学习框架（如 PyTorch）无缝集成。

获取 MuJoCo 许可证
前往 MuJoCo 官网获取 30 天试用许可证或购买正式许可证
将获取的密钥文件 mjkey.txt 放置在 ~/.mujoco/ 目录下

安装 MuJoCo 本体

pip install mujoco
# 验证安装
python -c "import mujoco; print(mujoco.__version__)"

安装 Playground 环境

pip install gymnasium
pip install mujoco-playground

常见问题解决
GLFW 错误：安装系统级依赖sudo apt install libglfw3-dev
许可证无效 ：确保mjkey.txt 文件权限正确（chmod 644 ~/.mujoco/mjkey.txt）

我们使用简单的 MLP 网络作为策略网络和价值网络：

import torch
import torch.nn as nn

class PolicyNetwork(nn.Module):
    def __init__(self, obs_dim, act_dim, hidden_size=64):
        super().__init__()
        self.fc1 = nn.Linear(obs_dim, hidden_size)
        self.fc2 = nn.Linear(hidden_size, hidden_size)
        self.fc_mean = nn.Linear(hidden_size, act_dim)
        self.fc_std = nn.Linear(hidden_size, act_dim)

    def forward(self, x):
        x = torch.tanh(self.fc1(x))
        x = torch.tanh(self.fc2(x))
        mean = self.fc_mean(x)
        std = torch.exp(self.fc_std(x))  # 保证标准差为正
        return torch.distributions.Normal(mean, std)

GAE（Generalized Advantage Estimation）计算

def compute_gae(rewards, values, dones, gamma=0.99, lam=0.95):
    """
    计算广义优势估计
    rewards: 轨迹中的奖励序列
    values: 价值网络输出的状态价值
    dones: 是否终止标记
    """
    advantages = torch.zeros_like(rewards)
    last_advantage = 0

    for t in reversed(range(len(rewards))):
        delta = rewards[t] + gamma * values[t+1] * (1-dones[t]) - values[t]
        advantages[t] = delta + gamma * lam * (1-dones[t]) * last_advantage
        last_advantage = advantages[t]

    returns = advantages + values[:-1]
    return advantages, returns

Clipped Surrogate Loss 实现

def clipped_surrogate(policy_old, policy_new, advantages, epsilon=0.2):
    ratio = (policy_new.log_prob(actions) - policy_old.log_prob(actions)).exp()
    clipped_ratio = torch.clamp(ratio, 1-epsilon, 1+epsilon)
    return -torch.min(ratio*advantages, clipped_ratio*advantages).mean()

使用 TensorBoard 记录训练过程：

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter()

# 在训练循环中添加记录
for epoch in range(epochs):
    # ... 训练代码...
    writer.add_scalar('Loss/policy', policy_loss.item(), epoch)
    writer.add_scalar('Loss/value', value_loss.item(), epoch)
    writer.add_scalar('Reward/mean', np.mean(episode_rewards), epoch)