AUV强化学习论文复现实战：从算法原理到工程实现

1次阅读

共计 1402 个字符，预计需要花费 4 分钟才能阅读完成。

复现 AUV 强化学习论文时，最常遇到三个棘手问题：

仿真环境 gap：Gazebo 仿真与真实水下环境存在动力学差异，简单调参会导致『模拟器过拟合』
稀疏奖励问题：AUV 目标追踪任务中，仅有最终到达奖励信号，导致探索效率低下
计算资源消耗：单个 episode 耗时长达分钟级，传统串行训练难以快速迭代

在 AUV 水平面轨迹跟踪任务中测试三种算法（训练曲线如下图所示）：

算法	收敛步数	最终成功率	超参敏感性
DDPG	1.2M steps	78%	高
PPO	800K steps	85%	中
SAC	600K steps	92%	低

SAC 展现出最佳样本效率，得益于其自动调节温度系数的特性

class HierarchicalPolicy(nn.Module):
    """
    输入: obs_shape=(10,)  # [位置, 速度, 目标向量]
    输出: mean_shape=(2,)  # [推进力, 转向力]
    """
    def __init__(self):
        super().__init__()
        self.task_layer = nn.Sequential(nn.Linear(10, 64),
            nn.ReLU())

        self.action_head = nn.Sequential(nn.Linear(64, 32),
            nn.Tanh(),
            nn.Linear(32, 2))  # 最终输出范围[-1,1]

    def forward(self, obs):
        feat = self.task_layer(obs)
        return self.action_head(feat)

通信优化 ：将/gazebo/state 话题从默认 100Hz 降采样到 30Hz
帧同步 ：使用rosbag play --clock 确保仿真时钟同步
可视化增强 ：RViz 中增加/auv/path 可视化插件

# ray.yaml
resources:
  num_gpus: 1
  num_cpus: 16

env_config:
  num_workers: 8  # 每个 worker 运行独立 Gazebo 实例

在 optim.step() 前插入scaler.scale(loss).backward()
使用 torch.cuda.amp.GradScaler() 自动管理梯度缩放
检查 nan_gradients 出现频率，超过 5% 需调小 lr

def smooth_action(prev_action, new_action, clip=0.1):
    """
    输入: prev_action.shape=(2,), new_action.shape=(2,)
    输出: 平滑后动作（限制最大变化量）"""
    delta = np.clip(new_action - prev_action, -clip, clip)
    return prev_action + delta