AGV路径规划实战：基于强化学习的入门指南与避坑实践

1次阅读

共计 2782 个字符，预计需要花费 7 分钟才能阅读完成。

AGV（自动导引车）在智能仓储中的核心任务是高效、无碰撞地完成路径规划。传统方法如 A * 算法在静态环境中表现良好，但面对动态障碍物时适应性较差。强化学习通过试错机制让 AGV 学会动态决策，其核心是让智能体（AGV）在环境（仓库地图）中通过行动（移动指令）获得奖励（如缩短路径、避免碰撞），最终找到最优策略。

典型差速驱动 AGV 的运动学模型可表示为：

$$
\begin{cases}
\dot{x} = v \cdot \cos(\theta) \
\dot{y} = v \cdot \sin(\theta) \
\dot{\theta} = \omega
\end{cases}
$$

其中 $(x,y)$ 为 AGV 中心坐标，$\theta$ 为朝向角，$v$ 和 $\omega$ 分别为线速度和角速度。离散化后，动作空间常定义为：

前进
左转 + 前进
右转 + 前进
后退（可选）

将仓库地图离散化为 $M\times N$ 栅格，每个栅格状态 $s_{ij}$ 包含：

障碍物标识：$o_{ij} \in {0,1}$
AGV 当前位置：$(i,j)$
目标点位置：$(i_{goal},j_{goal})$

维度	Q-Learning	DQN
计算资源	CPU 即可	需要 GPU 加速
训练速度	快（小状态空间）	慢（需神经网络收敛）
收敛性	易陷入局部最优	能处理高维状态
适用场景	栅格数 <1000	复杂传感器输入

import gym
from gym import spaces
import numpy as np

class AGVEnv(gym.Env):
    def __init__(self, grid_size=(10,10)):
        self.grid_size = grid_size
        self.observation_space = spaces.Dict({"agent": spaces.Box(low=0, high=max(grid_size), shape=(2,)),
            "target": spaces.Box(low=0, high=max(grid_size), shape=(2,)),
            "obstacles": spaces.Box(low=0, high=1, shape=grid_size)
        })
        self.action_space = spaces.Discrete(4)  # 上, 下, 左, 右

    def reset(self):
        # 初始化 AGV 位置、目标点和障碍物
        self.agent_pos = np.random.randint(0, self.grid_size[0], size=2)
        self.target_pos = np.random.randint(0, self.grid_size[0], size=2)
        self.obstacles = np.random.choice([0,1], size=self.grid_size, p=[0.8,0.2])
        return {"agent": self.agent_pos, "target": self.target_pos, "obstacles": self.obstacles}

    def step(self, action):
        # 动作执行与奖励计算
        new_pos = self.agent_pos.copy()
        if action == 0: new_pos[0] -= 1  # 上
        elif action == 1: new_pos[0] += 1  # 下
        elif action == 2: new_pos[1] -= 1  # 左
        elif action == 3: new_pos[1] += 1  # 右

        reward = 0
        done = False

        # 碰撞检测
        if (new_pos[0] < 0 or new_pos[0] >= self.grid_size[0] or 
            new_pos[1] < 0 or new_pos[1] >= self.grid_size[1] or
            self.obstacles[new_pos[0], new_pos[1]] == 1):
            reward = -10
        else:
            self.agent_pos = new_pos
            # 距离奖励
            dist = np.linalg.norm(self.agent_pos - self.target_pos)
            reward = -dist  # 距离越小奖励越大

            if dist < 1:  # 到达目标
                reward = 100
                done = True

        return {"agent": self.agent_pos, "target": self.target_pos, "obstacles": self.obstacles}, reward, done, {}

基础奖励：
到达目标：+100
每步时间惩罚：-1
碰撞惩罚：-10
进阶设计：
路径平滑度奖励（减少转向）
动态障碍物预测奖励

def select_action(state, epsilon):
    if random.random() < epsilon:
        return env.action_space.sample()  # 随机探索
    else:
        return np.argmax(q_table[state])  # 选择最优动作

class ReplayBuffer:
    def __init__(self, capacity):
        self.buffer = deque(maxlen=capacity)

    def push(self, state, action, reward, next_state, done):
        self.buffer.append((state, action, reward, next_state, done))

    def sample(self, batch_size):
        return random.sample(self.buffer, batch_size)

现象：AGV 始终无法获得正奖励，导致策略无法改进。

解决方案：
1. 形状奖励（Shaped Reward）：给路径方向上的移动额外小奖励
2. 逆向强化学习：从示范轨迹中反推奖励函数

分阶段训练：
1. 第一阶段：无障碍物简单场景
2. 第二阶段：增加静态障碍物
3. 第三阶段：加入动态障碍物