深度强化学习实战：Actor-Critic算法在高维状态空间中的优化策略

1次阅读

没有评论

共计 2316 个字符，预计需要花费 6 分钟才能阅读完成。

传统的 Actor-Critic 算法在连续动作空间和高维状态环境下常常面临两大核心问题：

高方差问题：由于采用蒙特卡洛采样估计优势函数，策略梯度的方差会随着状态空间维度增加而显著增大，导致训练过程剧烈震荡。
收敛速度慢：在高维空间中，Critic 网络对状态价值的估计误差会通过梯度传播影响 Actor 网络的更新，形成恶性循环。
在 MuJoCo 的 Humanoid 环境中，原始算法需要超过 500 万步才能达到基准性能
当状态维度超过 1000 时，策略更新的有效样本比例可能降至 5% 以下

广义优势估计 (GAE) 通过引入 λ 参数平衡偏差和方差：

$$
A^{GAE}(s_t,a_t) = \sum_{l=0}^{\infty}(\gamma\lambda)^l\delta_{t+l}
$$

其中 TD 误差 δ 的计算：

$$
\delta_t = r_t + \gamma V(s_{t+1}) – V(s_t)
$$

λ= 0 时退化为纯 TD 方法
λ= 1 时变为蒙特卡洛估计
实验表明 λ∈[0.9,0.95]在大多数连续控制任务中表现最佳

针对高维状态的空间特性，设计分层特征提取器：

底层特征提取：3 层 CNN 处理原始图像输入
中层时序建模：BiLSTM 捕获状态序列依赖
高层策略决策：MLP 输出动作分布参数

class HierarchicalActor(nn.Module):
    def __init__(self, state_dim):
        super().__init__()
        self.cnn = nn.Sequential(nn.Conv2d(3, 32, kernel_size=8, stride=4),
            nn.ReLU(),
            nn.Conv2d(32, 64, kernel_size=4, stride=2),
            nn.ReLU())
        self.lstm = nn.LSTM(64, 128, bidirectional=True)
        self.mlp = nn.Sequential(nn.Linear(256, 64), 
            nn.Tanh(),
            nn.Linear(64, action_dim)
        )

采用基于 TD 误差的优先级采样：

$$
P(i) = \frac{|\delta_i|^\alpha + \epsilon}{\sum_j(|\delta_j|^\alpha + \epsilon)}
$$

α 控制优先级强度，通常取 0.6
ϵ=1e- 6 防止零误差样本不被访问
每批采样后需更新样本优先级

def update_critic(self, batch):
    states, rewards, next_states, dones = batch

    # 计算目标值
    with torch.no_grad():
        next_values = self.target_critic(next_states)
        targets = rewards + self.gamma * (1-dones) * next_values

    # 计算当前值并优化
    current_values = self.critic(states)
    loss = F.mse_loss(current_values, targets)

    self.optimizer.zero_grad()
    loss.backward()
    torch.nn.utils.clip_grad_norm_(self.critic.parameters(), 0.5)
    self.optimizer.step()

def update_actor(self, states, actions, advantages):
    # 计算策略熵正则项
    mu, std = self.actor(states)
    dist = Normal(mu, std)
    log_probs = dist.log_prob(actions)
    entropy = dist.entropy().mean()

    # 策略梯度目标
    policy_loss = -(log_probs * advantages).mean()
    total_loss = policy_loss - 0.01 * entropy  # 熵系数调参关键

    self.optimizer.zero_grad()
    total_loss.backward()
    torch.nn.utils.clip_grad_norm_(self.actor.parameters(), 0.5)
    self.optimizer.step()

在 Ant-v3 环境中的训练曲线对比：