深度解析：A2C算法在强化学习中的定位与实践指南

1次阅读

共计 1760 个字符，预计需要花费 5 分钟才能阅读完成。

作为深度强化学习 (Deep Reinforcement Learning) 的经典算法，Advantage Actor-Critic(A2C)常被新手与 Q -Learning 等传统方法混淆。本质区别在于：

架构差异 ：A2C 属于 Actor-Critic 架构（执行者 - 评价者框架），同时包含策略网络(Actor) 和价值网络(Critic)；而 Q -Learning 是纯值函数方法
更新方式 ：A2C 通过优势函数(Advantage Function) 进行策略梯度更新，而非 Q -Learning 的时序差分 (Temporal Difference) 更新
适用范围：A2C 天然适合连续动作空间（如机器人控制），而 DQN 系列更适合离散动作（如游戏按键）

关键公式：

A(s,a) = Q(s,a) - V(s)

其中：
– Q(s,a)：状态动作值函数
– V(s)：状态值函数

实际实现时常用 GAE(Generalized Advantage Estimation)进行估计：

def compute_gae(rewards, values, gamma=0.99, lam=0.95):
    # rewards: 轨迹奖励序列
    # values: 状态值估计序列
    # 返回 GAE 优势估计

flowchart TD
    A[启动多个环境] --> B[并行采样轨迹]
    B --> C[计算优势函数]
    C --> D[更新全局网络]
    D --> A

class ActorCritic(nn.Module):
    def __init__(self, obs_dim, act_dim):
        super().__init__()
        # 共享特征提取层
        self.feature = nn.Sequential(nn.Linear(obs_dim, 64),
            nn.ReLU())
        # Actor 分支（输出动作概率）self.actor = nn.Linear(64, act_dim)  
        # Critic 分支（输出状态价值）self.critic = nn.Linear(64, 1)

envs = [gym.make('CartPole-v1') for _ in range(4)]
obs = [env.reset() for env in envs]

while True:
    # 并行执行动作
    actions = [model.select_action(ob) for ob in obs]
    next_obs, rewards, dones, _ = zip(*[env.step(a) for env,a in zip(envs,actions)])
    # 存储轨迹数据...

# 向量化计算优势值
returns = torch.zeros_like(rewards)
advantages = torch.zeros_like(rewards)
last_gae = 0

# 逆向计算 GAE
for t in reversed(range(len(rewards))):
    delta = rewards[t] + gamma * values[t+1] * (1-dones[t]) - values[t]
    advantages[t] = last_gae = delta + gamma * lam * (1-dones[t]) * last_gae

在 CartPole-v1 环境中测试：