Actor-Critic深度强化学习架构实战：解决高方差与偏差平衡问题

1次阅读

共计 2087 个字符，预计需要花费 6 分钟才能阅读完成。

强化学习在控制领域（如机械臂轨迹跟踪）常面临两大核心挑战：

REINFORCE 算法的高方差问题：蒙特卡洛采样导致梯度估计方差大，尤其当轨迹长度增加时，累计回报的方差呈指数增长。在 7 自由度机械臂控制任务中，传统策略梯度方法需要超过 5000 次迭代才能稳定。
Q-Learning 的连续性局限：离散动作空间下的 Q -Learning 无法直接处理机械臂关节的连续扭矩输出。虽然可以通过离散化近似，但会导致维度灾难——当每个关节分 10 档时，6 关节系统将产生百万级动作空间。

┌─────────────┐    ┌─────────────┐
│  Actor 网络  │    │ Critic 网络  │
│  π(a|s;θ)   │───▶│  V(s;w)     │
└──────┬──────┘    └──────┬──────┘
       │                  │
       ▼                  ▼
┌─────────────────────────────────┐
│          环境交互              │
└─────────────────────────────────┘

时序差分残差：
$$A(s_t,a_t) = r_t + γV(s_{t+1}) – V(s_t)$$
n-step 返回值：
$$A(s_t,a_t) = \sum_{i=0}^{n-1} γ^i r_{t+i} + γ^n V(s_{t+n}) – V(s_t)$$
GAE(λ)加权：
$$A_t^{GAE} = \sum_{l=0}^\infty (γλ)^l δ_{t+l}$$
其中 $δ_t = r_t + γV(s_{t+1}) – V(s_t)$

class PolicyNetwork(nn.Module):
    def __init__(self, state_dim, action_dim, hidden_size=256):
        super().__init__()
        self.fc1 = nn.Linear(state_dim, hidden_size)
        self.fc2 = nn.Linear(hidden_size, hidden_size)
        self.mu_head = nn.Linear(hidden_size, action_dim)
        self.sigma_head = nn.Linear(hidden_size, action_dim)

        # 状态正规化层
        self.state_norm = nn.BatchNorm1d(state_dim, affine=False)

    def forward(self, x):
        x = self.state_norm(x)  # 批归一化处理
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        mu = torch.tanh(self.mu_head(x))  # 连续动作空间用 tanh 约束范围
        sigma = F.softplus(self.sigma_head(x)) + 1e-5  # 确保标准差为正
        return torch.distributions.Normal(mu, sigma)

class ReplayBuffer:
    def __init__(self, capacity):
        self.buffer = deque(maxlen=capacity)
        self.lock = threading.Lock()  # 线程安全锁

    def add(self, transition):
        with self.lock:
            self.buffer.append(transition)

    def sample(self, batch_size):
        with self.lock:
            return random.sample(self.buffer, batch_size)