Agent领域核心论文解析：从理论到工程实践的关键路径

1次阅读

共计 1620 个字符，预计需要花费 5 分钟才能阅读完成。

《Reinforcement Learning: An Introduction》– Sutton & Barto
奠定了强化学习的理论基础，提出马尔可夫决策过程（MDP）框架。工业界广泛应用于游戏 AI（如 AlphaGo）和自动驾驶决策系统。核心贡献是 Q -Learning 和策略梯度算法。
《Mastering the game of Go without human knowledge》– DeepMind
提出 AlphaGo Zero，通过自我对弈实现无监督学习。关键突破是蒙特卡洛树搜索（MCTS）与神经网络的结合，已在物流调度等复杂规划场景落地。
《Attention Is All You Need》– Vaswani et al.
虽然源自 NLP 领域，但 Transformer 的注意力机制为多 Agent 协同提供了新范式，例如在电商推荐系统中建模用户 -Agent 交互。

class Node:
    def __init__(self, state, parent=None):
        self.state = state  # 当前游戏状态
        self.parent = parent
        self.children = []
        self.visit_count = 0
        self.value_sum = 0  # 累计价值

    def ucb_score(self, exploration_weight=1.4):
        if self.visit_count == 0:
            return float('inf')
        # UCB 公式: 平均价值 + 探索项
        return (self.value_sum / self.visit_count) + \
               exploration_weight * math.sqrt(math.log(self.parent.visit_count) / self.visit_count)

    def select_best_child(self):
        return max(self.children, key=lambda child: child.ucb_score())

class MultiHeadAttention(nn.Module):
    def __init__(self, embed_dim, num_heads):
        super().__init__()
        self.head_dim = embed_dim // num_heads
        self.qkv = nn.Linear(embed_dim, embed_dim*3)  # 合并 Q /K/ V 投影

    def forward(self, x):
        # x: [batch_size, num_agents, embed_dim]
        qkv = self.qkv(x).chunk(3, dim=-1)
        return scaled_dot_product_attention(qkv[0], qkv[1], qkv[2])