Actor-Critic强化学习框架入门指南：从理论到PyTorch实战

1次阅读

共计 2392 个字符，预计需要花费 6 分钟才能阅读完成。

强化学习新手常会遇到两个经典算法的局限：

Policy Gradient：直接优化策略函数，但依赖蒙特卡洛采样导致梯度估计方差大，训练过程像坐过山车一样不稳定。
Q-Learning：通过价值函数间接学习策略，但处理连续动作空间时（比如方向盘转角），需要遍历所有动作计算 Q 值，计算量爆炸。

Actor-Critic 就像把两个算法拼成瑞士军刀：用 Actor 网络解决动作选择问题（Policy Gradient 的强项），用 Critic 网络评估状态价值降低方差（Q-Learning 的优势）。

方法	收敛性	适用场景	缺点
Monte Carlo	高方差慢收敛	完整回合的离散任务	必须等回合结束才能更新
TD Learning	中等方差	连续决策场景	价值估计可能偏颇
Actor-Critic	低方差快收敛	连续 / 离散动作空间	需要调两个网络参数

import torch
import torch.nn as nn

class Actor(nn.Module):
    """策略网络，输出动作概率分布"""
    def __init__(self, state_dim: int, action_dim: int):
        super().__init__()
        self.fc = nn.Sequential(nn.Linear(state_dim, 64),
            nn.LayerNorm(64),  # 缓解梯度消失
            nn.ReLU(),
            nn.Linear(64, action_dim),
            nn.Softmax(dim=-1)  # 动作概率归一化
        )

    def forward(self, state: torch.Tensor) -> torch.Tensor:
        # state 形状: [batch_size, state_dim]
        return self.fc(state)

class Critic(nn.Module):
    """价值网络，评估状态价值"""
    def __init__(self, state_dim: int):
        super().__init__()
        self.fc = nn.Sequential(nn.Linear(state_dim, 64),
            nn.LayerNorm(64),
            nn.ReLU(),
            nn.Linear(64, 1)  # 输出标量价值
        )

    def forward(self, state: torch.Tensor) -> torch.Tensor:
        # 输出形状: [batch_size, 1]
        return self.fc(state)

def compute_advantages(rewards: List[float], 
    values: torch.Tensor,
    gamma: float = 0.99
) -> torch.Tensor:
    """计算优势函数：实际回报 - 预估价值"""
    returns = []
    R = 0
    # 反向计算折扣回报
    for r in reversed(rewards):
        R = r + gamma * R
        returns.insert(0, R)
    returns = torch.tensor(returns)
    # 形状对齐并归一化
    advantages = returns - values.squeeze()
    return (advantages - advantages.mean()) / (advantages.std() + 1e-8)

# 在训练循环中
for _ in range(epochs):
    # 采样轨迹数据
    states, actions, rewards = env.sample(batch_size)

    # Critic 评估状态价值
    values = critic(states)

    # 计算策略梯度（含熵正则项）probs = actor(states)
    dist = torch.distributions.Categorical(probs)
    entropy = dist.entropy().mean()  # 鼓励探索

    advantages = compute_advantages(rewards, values)
    policy_loss = -(dist.log_prob(actions) * advantages).mean() - 0.01 * entropy

    # 价值函数损失（MSE）value_loss = F.mse_loss(values.squeeze(), torch.tensor(rewards))