MuJoCo Playground机器人强化学习入门：从零搭建训练环境的完整指南

1次阅读

共计 2099 个字符，预计需要花费 6 分钟才能阅读完成。

作为一个刚接触机器人强化学习的新手，MuJoCo 环境配置可能会让你头疼不已。特别是在 Windows 和 Linux 系统上，经常会遇到 GLFW 库依赖问题，导致无法正常渲染。更让人崩溃的是，MuJoCo 的许可证配置也是一个不小的门槛。

环境配置问题：MuJoCo 需要特定版本的 GLFW 库支持，不同系统下的安装方式差异很大
许可证配置：如果没有正确配置 MJ_KEY_PATH 环境变量，连最基本的示例代码都无法运行
API 学习曲线：MuJoCo 原生的 mjModel/mjData 结构体对新手极不友好，需要理解大量物理引擎的底层概念

下载 MuJoCo 2.3.1 Linux 版本
解压到~/.mujoco/mujoco-2.3.1 目录

设置环境变量：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/.mujoco/mujoco-2.3.1/bin
export MUJOCO_PY_MJKEY_PATH=~/.mujoco/mjkey.txt

安装 Python 绑定：
```
pip install mujoco==2.3.1 mujoco-py
```

需要安装 Visual C++ Redistributable
建议使用 WSL2 进行开发，避免原生 Windows 的各种兼容性问题
特别注意 PATH 环境变量中不能有中文路径

import mujoco

try:
    model = mujoco.MjModel.from_xml_path("ant.xml")
    data = mujoco.MjData(model)
    print("MuJoCo 环境验证成功！")
except Exception as e:
    print(f"许可证验证失败: {str(e)}")
    if "MJPC_ERROR" in str(e):
        print("请检查 MJ_KEY_PATH 环境变量是否正确设置")

import mujoco
import numpy as np

def init_env():
    model = mujoco.MjModel.from_xml_path("ant.xml")
    data = mujoco.MjData(model)
    return model, data

def random_policy(obs):
    return np.random.uniform(-1, 1, size=8)

def run_episode(model, data, max_steps=1000):
    total_reward = 0
    mujoco.mj_resetData(model, data)

    for _ in range(max_steps):
        obs = get_observation(data)
        action = random_policy(obs)

        data.ctrl[:] = action
        mujoco.mj_step(model, data)

        reward = calculate_reward(data)
        total_reward += reward

        if data.time > 10:  # 10 秒后自动终止
            break

    return total_reward

def calculate_reward(data):
    # 基础移动奖励
    x_velocity = data.qvel[0]
    survive_reward = 0.05  # 存活奖励

    # 惩罚剧烈运动
    ctrl_cost = 0.5 * np.square(data.ctrl).sum()

    return x_velocity + survive_reward - ctrl_cost

MJPC_ERROR 处理：90% 情况下是许可证问题，检查 mjkey.txt 是否放在正确位置
OpenGL 多线程问题：在 Linux 下建议设置export MUJOCO_GL=glfw
观测值归一化：建议使用 RunningMeanStd 进行在线标准化
常见崩溃原因：
动作空间超出物理限制
没有定期调用 mj_resetData
多线程环境下重复创建 OpenGL 上下文

from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env

env = make_vec_env("Ant-v4", n_envs=4)
model = PPO("MlpPolicy", env, verbose=1)
model.learn(total_timesteps=1_000_000)