A2C算法深度强化学习实战：从原理到避坑指南

1次阅读

共计 2435 个字符，预计需要花费 7 分钟才能阅读完成。

Advantage Actor-Critic（A2C）算法是深度强化学习（Deep Reinforcement Learning, DRL）中的一种经典方法，结合了策略梯度（Policy Gradient）和价值函数（Value Function）的优点。相比于原始的 Actor-Critic，A2C 通过引入优势函数（Advantage Function）减少了估计的方差，从而提升了训练的稳定性。然而，实际应用中，A2C 仍然面临以下典型问题：

高方差问题 ：尽管优势函数能够减少方差，但在稀疏奖励环境下，方差仍然较高，导致训练不稳定。
样本效率低 ：A2C 通常需要大量样本才能收敛，尤其是在复杂环境中。
超参数敏感 ：学习率、折扣因子（γ）和 GAE 参数（λ）的选择对训练效果影响显著。

A2C 的核心思想是通过优势函数来优化策略梯度。优势函数定义为：

$$
A(s, a) = Q(s, a) – V(s)
$$

其中，(Q(s, a)) 是动作价值函数，(V(s)) 是状态价值函数。A2C 通过估计优势函数来指导策略更新，从而减少方差。策略梯度更新公式为：

$$
\nabla_\theta J(\theta) = \mathbb{E}\left[\nabla_\theta \log \pi_\theta(a|s) A(s, a)\right]
$$

与 A3C（Asynchronous Advantage Actor-Critic）相比，A2C 是同步更新的，即所有智能体共享同一组参数，避免了异步更新带来的参数冲突问题。

以下是一个基于 PyTorch 的 A2C 实现示例：

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F

# 定义 Actor-Critic 网络
class ActorCritic(nn.Module):
    def __init__(self, state_dim, action_dim, hidden_size=128):
        super(ActorCritic, self).__init__()
        # 共享的特征提取层
        self.fc1 = nn.Linear(state_dim, hidden_size)
        # Actor 层：输出动作概率分布
        self.fc_actor = nn.Linear(hidden_size, action_dim)
        # Critic 层：输出状态价值
        self.fc_critic = nn.Linear(hidden_size, 1)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        # 策略分布（使用 softmax 确保概率和为 1）action_probs = F.softmax(self.fc_actor(x), dim=-1)
        # 状态价值
        state_value = self.fc_critic(x)
        return action_probs, state_value

在 A2C 中，优势函数通常通过多步时序差分（TD）来估计：

def compute_advantages(rewards, values, gamma=0.99, lambda_=0.95):
    """计算广义优势估计（GAE）"""
    advantages = []
    gae = 0
    next_value = 0  # 假设最后一个状态的价值为 0
    for t in reversed(range(len(rewards))):
        delta = rewards[t] + gamma * next_value - values[t]
        gae = delta + gamma * lambda_ * gae
        advantages.insert(0, gae)
        next_value = values[t]
    return advantages

为了防止梯度爆炸，通常在优化器中使用梯度裁剪：

optimizer = optim.Adam(model.parameters(), lr=0.001)
# 在训练循环中
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=0.5)
optimizer.step()

折扣因子（γ）：控制未来奖励的权重。γ 越接近 1，智能体越关注长期奖励；γ 越小，智能体越关注即时奖励。
GAE 参数（λ）：控制优势估计的平滑程度。λ= 0 时，优势函数退化为单步 TD 误差；λ= 1 时，优势函数变为蒙特卡洛估计。

通过正交初始化（Orthogonal Initialization）可以提升训练稳定性：

def init_weights(m):
    if isinstance(m, nn.Linear):
        nn.init.orthogonal_(m.weight)
        nn.init.constant_(m.bias, 0.0)

model.apply(init_weights)