深度解析actor-critic网络的参数更新与损失函数设计

1次阅读

共计 2141 个字符，预计需要花费 6 分钟才能阅读完成。

Actor-Critic（AC）网络是强化学习中结合了策略梯度（Policy Gradient）和价值函数（Value Function）的混合架构。它通过两个核心组件协同工作：

Actor：负责根据当前状态选择动作（策略函数 π(a|s)）
Critic：评估状态或状态 - 动作对的价值（价值函数 V(s) 或 Q(s,a)）

相比纯策略梯度方法，AC 框架的显著优势在于：
1. 通过 Critic 的即时反馈降低策略更新的方差
2. 允许单步更新而非等待完整 episode 结束
3. 天然支持连续动作空间问题

时间差分误差（Temporal Difference Error）是连接 Actor 和 Critic 的桥梁：

δ_t = r_t + γV(s_{t+1}) - V(s_t)

其中 γ 为折扣因子。这个误差信号同时用于：

Critic 更新 ：最小化 TD 误差的平方（MSE）
Actor 更新 ：作为策略梯度的权重系数

典型 AC 算法的参数更新分为两个并行分支：

Critic 更新 （价值函数逼近）
目标：使 V(s) 准确预测回报的期望值

更新公式：

θ_v ← θ_v + α_v δ_t ∇_{θ_v}V(s_t)

Actor 更新 （策略优化）
目标：最大化预期回报

更新公式：

θ_π ← θ_π + α_π δ_t ∇_{θ_π}log π(a_t|s_t)

不同损失函数对训练稳定性的影响显著：

损失函数	公式	适用场景
MSE	`(δ_t)^2`	低噪声环境
Huber	`{0.5δ^2 if \|δ\|<1, \|δ\|-0.5 otherwise}`	异常值较多的环境
LogCosh	`log(cosh(δ_t))`	需要平滑梯度的场景

import torch
import torch.optim as optim
import torch.nn.functional as F

class ActorCritic(torch.nn.Module):
    def __init__(self, state_dim, action_dim):
        super().__init__()
        # Shared feature extractor
        self.fc1 = nn.Linear(state_dim, 64)

        # Actor head
        self.actor = nn.Linear(64, action_dim)

        # Critic head
        self.critic = nn.Linear(64, 1)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        return F.softmax(self.actor(x), dim=-1), self.critic(x)

# 训练循环关键片段
def update(batch):
    states, actions, rewards, next_states, dones = batch

    # 计算 TD 误差
    with torch.no_grad():
        _, next_values = model(next_states)
        targets = rewards + gamma * next_values * (1 - dones)

    # Critic 损失
    _, values = model(states)
    critic_loss = F.huber_loss(values, targets)

    # Actor 更新
    probs, _ = model(states)
    log_probs = torch.log(probs.gather(1, actions))
    actor_loss = -(log_probs * (targets - values).detach()).mean()

    # 联合优化
    optimizer.zero_grad()
    (critic_loss + actor_loss).backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)
    optimizer.step()