Agent RL 实战：如何解决多智能体协同中的策略冲突问题

1次阅读

共计 2289 个字符，预计需要花费 6 分钟才能阅读完成。

在单智能体强化学习中，agent 只需要关注自身与环境互动。但当我们把场景扩展到多智能体时，事情立刻变得复杂起来——就像一群人在没有指挥的情况下试图共同完成一项任务。以下是三种典型的冲突表现：

动作空间耦合：当智能体 A 的移动导致智能体 B 的路径被阻挡时，两者可能陷入无限避让的死循环。这在仓储机器人集群中尤为常见
奖励信号冲突：智能体各自追求局部最优（如赛车游戏中每个车手都想超车），反而导致全局收益下降（全体撞车）。这正是囚徒困境在 RL 中的体现
观测空间局限：每个智能体只能看到局部信息（如 MOBA 游戏中的战争迷雾），导致做出看似合理实则有害全局的决策

Independent Q-Learning：每个智能体独立学习，完全忽视其他 agent 的存在。实验结果显现在简单任务中尚可，但在复杂场景下胜率往往低于 30%
MADDPG：虽然通过集中式训练解决了部分观测问题，但在动态环境中会出现策略更新不同步，导致训练震荡

class HierarchyAgent(nn.Module):
    def __init__(self, obs_dim, act_dim):
        super().__init__()
        # 高层策略协调器（3 层 MLP）self.coordinator = nn.Sequential(nn.Linear(obs_dim, 128),
            nn.ReLU(),
            nn.Linear(128, 64),
            nn.Tanh()  # 输出协调指令)
        # 底层执行器（带 Attention 的 LSTM）self.executor = AttentionLSTM(
            input_dim=obs_dim + 64,  # 原始观测 + 协调指令
            hidden_dim=256
        )

采用 Difference Rewards 方法：

$$DR_i = R(s,a) – R(s,(a_{-i},c_i))$$

其中 $c_i$ 表示智能体 i 采取默认动作时的替代动作。通过计算团队整体奖励与缺省情况下的差异，准确反映每个 agent 的真实贡献。

class AttentionLayer(nn.Module):
    def forward(self, query, keys):
        # query: [batch_size, hid_dim]
        # keys:  [n_agents, batch_size, hid_dim]
        scores = torch.einsum('bd,abd->ab', query, keys) / math.sqrt(query.size(-1))
        attn = F.softmax(scores, dim=1)
        return torch.einsum('ab,abc->ac', attn, keys)

def calculate_rewards(team_obs, team_actions):
    """
    team_obs:     List[torch.Tensor] 每个 agent 的局部观测
    team_actions: List[torch.Tensor] 实际采取的动作
    """
    # 1. 计算全局奖励（环境原始反馈）global_reward = env.get_team_reward()

    # 2. 计算每个 agent 的缺省奖励（关键超参数：默认动作选择策略）default_actions = [get_default_action(obs) for obs in team_obs]

    # 3. 动态信用分配
    individual_rewards = []
    for i in range(n_agents):
        # 替换第 i 个 agent 的动作为缺省动作
        replaced_actions = team_actions.copy()
        replaced_actions[i] = default_actions[i]

        # 模拟执行并获取替代奖励
        with torch.no_grad():
            alt_reward = env.simulate_step(replaced_actions)

        # 计算差异奖励
        dr = global_reward - alt_reward
        individual_rewards.append(dr * 0.8)  # 折扣因子 0.8

空间降维：对机器人位置信息改用极坐标而非笛卡尔坐标
时间维度压缩：用 LSTM 处理历史观测而非直接拼接
特征选择 ：使用互信息(Mutual Information) 评估特征重要性

# 在参数服务器架构中
if current_step % sync_interval == 0:
    # 采用滑动平均更新目标网络
    for param, target_param in zip(online_net.parameters(), target_net.parameters()):
        target_param.data.copy_(tau * param.data + (1-tau) * target_param.data)

在 3v3 微操场景中测试：