A2C强化学习实战：从算法原理到工程实现

1次阅读

共计 1791 个字符，预计需要花费 5 分钟才能阅读完成。

强化学习近年来在游戏 AI、机器人控制等领域展现出巨大潜力。然而，传统算法如 DQN 面临样本效率低下、训练不稳定等问题，而 PPO 虽然稳定但实现复杂。A2C（Advantage Actor-Critic）算法通过以下优势成为平衡点：

样本效率 ：通过 Actor-Critic 框架同时学习策略和价值函数
训练稳定性 ：采用 Advantage 标准化减少方差
工程友好 ：相比 PPO 更简单的实现架构

Advantage 计算 ：
$$A(s_t,a_t) = Q(s_t,a_t) – V(s_t)$$
其中 $Q(s_t,a_t)$ 通过 TD 误差估计：
$$\delta_t = r_t + \gamma V(s_{t+1}) – V(s_t)$$
策略梯度更新 ：
$$\nabla_\theta J(\theta) = \mathbb{E}\left[\nabla_\theta \log \pi_\theta(a_t|s_t)A(s_t,a_t)\right]$$
价值函数更新 ：
$$\mathcal{L}v = \frac{1}{2}\left(r_t + \gamma V(s) – V(s_t)\right)^2$$

class ActorCritic(nn.Module):
    def __init__(self, obs_dim, act_dim, hidden_size=256):
        super().__init__()
        # 共享特征提取层
        self.base = nn.Sequential(nn.Linear(obs_dim, hidden_size),
            nn.ReLU())
        # Actor 分支（策略）self.actor = nn.Sequential(nn.Linear(hidden_size, hidden_size),
            nn.ReLU(),
            nn.Linear(hidden_size, act_dim),
            nn.Softmax(dim=-1)
        )
        # Critic 分支（价值）self.critic = nn.Sequential(nn.Linear(hidden_size, hidden_size),
            nn.ReLU(),
            nn.Linear(hidden_size, 1)
        )

def compute_gae(rewards, values, gamma=0.99, lam=0.95):
    """
    rewards: 轨迹奖励序列 [T,]
    values: 价值函数估计 [T+1,]
    gamma: 折扣因子
    lam: GAE 超参数
    """
    gae = 0
    returns = []
    for t in reversed(range(len(rewards))):
        delta = rewards[t] + gamma * values[t+1] - values[t]
        gae = delta + gamma * lam * gae
        returns.insert(0, gae + values[t])
    return torch.stack(returns)

在 CartPole-v1 环境中的训练曲线表明：