CMDP强化学习实战：解决多智能体协作中的策略冲突问题

1次阅读

没有评论

共计 2146 个字符，预计需要花费 6 分钟才能阅读完成。

在多智能体强化学习（MARL）场景中，策略冲突就像一群没有指挥的乐队——每个乐手（智能体）都在按照自己的乐谱（策略）演奏，结果却是杂乱无章的噪音。具体表现为：

资源竞争 ：多个智能体同时争夺有限资源（如电量、带宽）导致系统崩溃
目标不一致 ：追踪型智能体想靠近目标，而防御型智能体却试图保持距离
通信过载 ：频繁的原始观测值传输造成网络拥堵

传统方法如 Independent Q-learning 或 PPO 存在明显缺陷：

每个智能体独立优化策略，完全忽视其他智能体的行为影响
全局回报（global reward）分配时无法区分个体贡献
缺乏显式的行为约束机制

普通 MDP 用五元组 $(\mathcal{S}, \mathcal{A}, P, R, \gamma)$ 描述，而 CMDP 引入了约束条件：

$$
\begin{aligned}
&\max_\pi \mathbb{E}\left[\sum_{t=0}^T \gamma^t r_t\right] \
\text{s.t.} \quad &\mathbb{E}\left[\sum_{t=0}^T \gamma^t c_t^i\right] \leq b^i, \quad i=1,…,m
\end{aligned}
$$

其中 $c_t^i$ 是第 $i$ 个约束的即时代价，$b^i$ 是约束阈值。例如在无人机编队中：

约束 1：相邻无人机间距保持在 2 - 5 米（安全距离）
约束 2：单机能耗每小时不超过 2000mAh

class LagrangianLayer(nn.Module):
    """拉格朗日乘子自动更新层"""
    def __init__(self, num_constraints):
        super().__init__()
        self.lambda_ = nn.Parameter(torch.zeros(num_constraints))  # 乘子初始化为 0
        self.eta = 0.01  # 乘子学习率

    def forward(self, constraint_violations):
        """
        :param constraint_violations: [batch_size, num_constraints] 
        :return: 惩罚项标量值
        """
        # 乘子投影到非负空间
        lambda_clamped = F.relu(self.lambda_)
        penalty = (lambda_clamped * constraint_violations).sum()

        # 乘子梯度上升更新（注意符号）self.lambda_.grad = -constraint_violations.mean(dim=0)
        return penalty

def distributed_update(agents, optimizer):
    """同步所有智能体的策略梯度"""
    global_grads = {}

    # 1. 收集所有智能体梯度
    for agent_id, agent in agents.items():
        for name, param in agent.policy.named_parameters():
            if param.grad is not None:
                if name not in global_grads:
                    global_grads[name] = []
                global_grads[name].append(param.grad)

    # 2. 计算梯度均值（FedAvg 算法）for name, grads in global_grads.items():
        global_grad = torch.stack(grads).mean(dim=0)

        # 3. 分发全局梯度
        for agent in agents.values():
            getattr(agent.policy, name).grad = global_grad.clone()

    # 4. 统一参数更新
    optimizer.step()

在『智能物流机器人协作』环境中的对比结果：