深度解析actor-critic强化学习框架：从理论到PyTorch实战

共计 2187 个字符，预计需要花费 6 分钟才能阅读完成。

问题定义：为什么需要 Actor-Critic？

传统 Policy Gradient 方法直接优化策略函数，其梯度估计公式为：

$$\nabla_\theta J(\theta) = \mathbb{E}{\tau\sim\pi\theta}\left[\sum_{t=0}^T \nabla_\theta \log \pi_\theta(a_t|s_t) G_t\right]$$

其中 $G_t$ 是累计回报，这种蒙特卡洛估计存在 高方差 问题。通过贝尔曼方程引入 Critic 网络后，TD 误差 $\delta_t = r_t + \gamma V(s_{t+1}) – V(s_t)$ 可显著降低方差：

$$\nabla_\theta J(\theta) = \mathbb{E}{\tau\sim\pi\theta}\left[\nabla_\theta \log \pi_\theta(a_t|s_t) \cdot A(s_t,a_t)\right]$$

架构对比：主流算法特性

PyTorch 实现核心组件

1. 网络定义

import torch.nn as nn
import torch.nn.functional as F

class Actor(nn.Module):
    def __init__(self, obs_dim: int, act_dim: int, hidden_size: int = 128):
        super().__init__()
        self.lstm = nn.LSTM(obs_dim, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, act_dim)

    def forward(self, x: torch.Tensor) -> torch.distributions.Distribution:
        lstm_out, _ = self.lstm(x) 
        logits = self.fc(lstm_out[:, -1])
        return torch.distributions.Categorical(logits=logits)

class Critic(nn.Module):
    def __init__(self, obs_dim: int, hidden_size: int = 128):
        super().__init__()
        self.net = nn.Sequential(nn.Linear(obs_dim, hidden_size),
            nn.ReLU(),
            nn.Linear(hidden_size, 1)
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.net(x).squeeze(-1)

2. GAE 优势计算

def compute_advantages(
    rewards: torch.Tensor, 
    values: torch.Tensor,
    masks: torch.Tensor,
    gamma: float = 0.99,
    lam: float = 0.95
) -> torch.Tensor:
    """
    rewards: [T, B]
    values: [T+1, B]
    masks: [T, B] (1-done)
    """
    T = len(rewards)
    deltas = torch.zeros_like(rewards)
    advantages = torch.zeros_like(rewards)

    for t in reversed(range(T)):
        deltas[t] = rewards[t] + gamma * values[t+1] * masks[t] - values[t]
        advantages[t] = deltas[t] + gamma * lam * masks[t] * advantages[t+1]

    return advantages

调优经验指南

1. 学习率设置
2. Actor 网络通常比 Critic 小 1 - 2 个数量级（如 5e-4 vs 1e-3）

3. 连续动作空间需要更低的学习率

4. 折扣因子选择

5. 稀疏奖励任务：$\gamma \in [0.99, 0.999]$

6. 密集奖励任务：$\gamma \in [0.95, 0.99]$

7. 批量大小建议

8. 离散控制：256-1024 个时间步 / 批次
9. 连续控制：512-2048 个时间步 / 批次

生产环境常见陷阱

策略滞后（Policy Lag）

当采用异步数据采集时，旧策略生成的数据可能不匹配当前策略。解决方案：

• 限制策略更新频率（如每 10 次采样更新 1 次）
• 使用重要性采样权重校正

价值函数过估计

表现为 Critic 损失持续下降但实际回报不增长。应对措施：

1. 采用 Double DQN 技巧
2. 在 Critic 损失中添加 L2 正则项
3. 降低目标网络更新频率

性能实测数据

在 Atari Pong 环境下（RTX 3090）：

完整实验代码可在 Colab 运行：

扩展阅读
–《Proximal Policy Optimization Algorithms》
–《High-Dimensional Continuous Control Using Generalized Advantage Estimation》
–《Distributed Prioritized Experience Replay》