Actor-Critic强化学习实战：从零构建智能体决策系统

1次阅读

共计 1450 个字符，预计需要花费 4 分钟才能阅读完成。

想象你在训练一个游戏 AI 玩《超级马里奥》：

DQN 需要处理庞大的动作空间（跳跃 + 方向组合），且无法输出连续动作（如力度控制）
PPO 虽然稳定但实现复杂，涉及重要性采样等概念
A2C 就像『自行车』：既有 Actor 直接输出动作策略，又有 Critic 评估动作价值，结构清晰适合入门

策略网络输出动作概率分布，损失函数包含两个关键部分：

# 伪代码示例
probs = actor(state)  # 通过神经网络获得动作概率
log_probs = torch.log(probs) * advantage  # 优势加权
entropy = -torch.sum(probs * log_probs)  # 策略熵
loss = -(log_probs.mean() + 0.01*entropy)  # 带熵正则项的损失

熵正则项（0.01 系数）防止策略过早收敛到局部最优

Critic 评估状态价值，使用 TD 误差作为优化目标：

def compute_td_error(rewards, values, next_values, gamma=0.99):
    returns = rewards + gamma * next_values * (1 - dones)
    return returns - values  # TD 误差

GAE 平衡偏差与方差，关键参数 λ 控制平滑程度：

def compute_gae(rewards, values, gamma=0.99, lambda_=0.95):
    deltas = rewards + gamma * values[1:] - values[:-1]
    advantages = torch.zeros_like(rewards)
    running_add = 0
    for t in reversed(range(len(deltas))):
        running_add = deltas[t] + gamma * lambda_ * running_add
        advantages[t] = running_add
    return advantages

for epoch in range(1000):
    # 并行采集数据
    states, actions, rewards = envs.step(...) 

    # 计算 GAE 优势
    values = critic(states)
    advantages = compute_gae(rewards, values)

    # 双网络更新
    actor_loss = compute_actor_loss(advantages)
    critic_loss = F.mse_loss(returns, values)

    # 梯度裁剪（通常设 0.5）torch.nn.utils.clip_grad_norm_(actor.parameters(), 0.5)