AC算法与强化学习的融合：从原理到实战优化

1次阅读

共计 2603 个字符，预计需要花费 7 分钟才能阅读完成。

传统强化学习算法在实际应用中常常面临两个核心问题：

训练效率低下 ：以 Q -Learning 为代表的 Value-Based 方法需要维护庞大的 Q 表，当状态空间增大时会出现 ” 维度灾难 ”。
训练不稳定 ：Policy Gradient 方法虽然能直接优化策略，但由于单次采样方差大，容易导致训练过程剧烈震荡。

举个例子，在 OpenAI Gym 的 CartPole 环境中，普通的 Policy Gradient 可能需要 500+ 回合才能稳定，且不同随机种子下的表现差异可能达到±20%。

算法类型	代表算法	优点	缺点
Value-Based	DQN	采样效率高	无法处理连续动作空间
Policy-Based	PG	直接优化策略	高方差，训练不稳定
Hybrid	AC	兼顾效率与稳定性	实现复杂度较高
Advanced	PPO	训练稳定	超参数敏感

AC 算法的核心创新点在于同时维护两个网络：
– Actor：负责生成动作策略（解决 ” 做什么 ”）
– Critic：评估状态价值（解决 ” 做得好不好 ”）

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F

class Actor(nn.Module):
    """策略网络，输出动作概率分布"""
    def __init__(self, state_dim, action_dim, hidden_size=128):
        super(Actor, self).__init__()
        self.fc1 = nn.Linear(state_dim, hidden_size)
        self.fc2 = nn.Linear(hidden_size, action_dim)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        return F.softmax(self.fc2(x), dim=-1)

class Critic(nn.Module):
    """价值网络，评估状态价值"""
    def __init__(self, state_dim, hidden_size=128):
        super(Critic, self).__init__()
        self.fc1 = nn.Linear(state_dim, hidden_size)
        self.fc2 = nn.Linear(hidden_size, 1)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        return self.fc2(x)

from collections import deque
import random

class ReplayBuffer:
    def __init__(self, capacity):
        self.buffer = deque(maxlen=capacity)

    def push(self, state, action, reward, next_state, done):
        self.buffer.append((state, action, reward, next_state, done))

    def sample(self, batch_size):
        return random.sample(self.buffer, batch_size)

    def __len__(self):
        return len(self.buffer)

优势函数 $A(s,a)$ 的计算公式：
$$ A(s,a) = Q(s,a) – V(s) $$

实际实现时，我们常用 TD 误差作为优势估计：

def compute_advantage(rewards, values, next_values, dones, gamma=0.99):
    """计算 GAE 优势函数"""
    advantages = torch.zeros_like(rewards)
    last_advantage = 0

    for t in reversed(range(len(rewards))):
        delta = rewards[t] + gamma * next_values[t] * (1-dones[t]) - values[t]
        advantages[t] = delta + gamma * 0.95 * last_advantage * (1-dones[t])
        last_advantage = advantages[t]

    return advantages

学习率组合（Actor/Critic）	收敛步数	最终得分
1e-3 / 1e-3	380	195±12
1e-4 / 1e-3	420	200±8
1e-3 / 1e-4	不收敛	–

最佳实践 ：Critic 网络的学习率通常应该比 Actor 大 1 个数量级

γ 接近 1：更关注长期回报，但可能增加方差
γ 接近 0：更关注即时奖励，容易陷入局部最优

在 Mujoco 的 HalfCheetah 环境中，γ=0.99 比 γ =0.9 的最终回报高约 15%

现象：训练曲线出现周期性震荡
解决方法 ：采用软更新策略：

def soft_update(target, source, tau=0.01):
    for target_param, param in zip(target.parameters(), source.parameters()):
        target_param.data.copy_(tau*param.data + (1-tau)*target_param.data)

现象：策略突然退化
解决方案 ：使用 GAE 时 λ 参数设置为 0.9-0.95