18个强化学习算法从入门到精通：理论解析与Python代码实战

1次阅读

共计 1803 个字符，预计需要花费 5 分钟才能阅读完成。

本文系统梳理 18 个核心强化学习算法，从基础概念到高级模型实现，帮助初学者构建完整知识体系。我们将通过理论解析、代码实现和对比分析三个维度，带你掌握强化学习的核心技能。

多臂老虎机
探索与利用的经典权衡问题

ε-greedy 策略实现：

def choose_action(self, state):
    if np.random.random() < self.epsilon:
        return np.random.randint(self.action_size)  # 探索
    return np.argmax(self.q_table[state])  # 利用

马尔可夫决策过程(MDP)
五元组 (S,A,P,R,γ) 形式化表示
贝尔曼方程：
$$V^π(s) = \sum_{a} π(a|s)\sum_{s’}P(s’|s,a)[R(s,a,s’) + γV^π(s’)]$$
动态规划
策略迭代 vs 值迭代
时间复杂度对比表格：
| 方法 | 每次迭代复杂度 | 收敛速度 |
|————|—————-|———-|
| 策略迭代 | O(|S|^3) | 快 |
| 值迭代 | O(|S|^2|A|) | 中等 |

Q-Learning
离线策略 TD 控制
更新规则：
$$Q(s,a) ← Q(s,a) + α[r + γ\max_{a’}Q(s’,a’) – Q(s,a)]$$
关键参数经验：
- α=0.1~0.5 (学习率)
- γ=0.9~0.99 (折扣因子)
Deep Q-Network (DQN)

经验回放实现：

class ReplayBuffer:
    def __init__(self, capacity):
        self.buffer = deque(maxlen=capacity)

    def push(self, state, action, reward, next_state, done):
        self.buffer.append((state, action, reward, next_state, done))

Double DQN
解决 Q 值高估问题

目标网络更新策略：

target = reward + (1-done) * gamma * \
         target_net(next_state).gather(1, argmax_action).detach()

REINFORCE
蒙特卡洛策略梯度

损失函数实现：

log_probs = torch.stack(log_probs)
returns = torch.stack(returns)
policy_loss = -(log_probs * returns).sum()

Actor-Critic
优势函数计算：
$$A(s,a) = Q(s,a) – V(s)$$

网络架构示意图：

[状态] → [共享特征层] → [策略头] (Actor)
                     ↘ [价值头] (Critic)

Proximal Policy Optimization (PPO)
重要性采样裁剪：
$$L^{CLIP}(θ) = \mathbb{E}_t[\min(r_t(θ)\hat{A}_t, clip(r_t(θ),1-ε,1+ε)\hat{A}_t)]$$

实现关键：

ratio = (new_logprob - old_logprob).exp()
surr1 = ratio * adv
surr2 = torch.clamp(ratio, 1.0-eps, 1.0+eps) * adv
policy_loss = -torch.min(surr1, surr2).mean()

完整算法对比表格：