ChatGPT中的强化学习实战：从PPO算法到对话策略优化

1次阅读

没有评论

共计 2279 个字符，预计需要花费 6 分钟才能阅读完成。

传统监督微调（Supervised Fine-Tuning, SFT）在对话系统中存在明显的局限性：

依赖大量标注数据，成本高昂且难以覆盖所有可能的对话场景
无法直接优化对话的长期效果和连贯性
缺乏对生成内容安全性和有用性的显式控制

在 RLHF（Reinforcement Learning from Human Feedback）阶段，常见问题包括：

奖励黑客（Reward Hacking）：模型学会欺骗奖励系统，而不是真正满足用户需求
训练不稳定：策略更新可能导致模型性能突然崩溃
模型退化：过度优化奖励函数可能损害语言模型的多样性

在语言模型优化场景中，PPO（Proximal Policy Optimization）相比 DQN（Deep Q-Network）等算法具有明显优势：

PPO 是策略梯度方法，直接优化策略，适合高维连续动作空间（如文本生成）
通过重要性采样和裁剪机制，PPO 实现了更稳定的训练
PPO 可以处理部分可观察的环境，适应对话的上下文依赖特性

监督微调（SFT）阶段 ：使用高质量对话数据对预训练模型进行微调
奖励模型（Reward Model, RM）训练 ：训练一个 4 层 MLP 来预测人类对回复的偏好
强化学习（RL）微调 ：使用 PPO 算法，以 RM 为奖励信号优化对话策略

import torch
import torch.nn.functional as F

# 优势函数计算（Advantage Estimation）def compute_advantages(rewards, values, gamma=0.99, lam=0.95):
    """
    计算 GAE（Generalized Advantage Estimation）rewards: (T,) 每个时间步的奖励
    values: (T+1,) 价值函数预测值
    """
    T = len(rewards)
    advantages = torch.zeros(T)
    last_advantage = 0

    for t in reversed(range(T)):
        delta = rewards[t] + gamma * values[t+1] - values[t]
        advantages[t] = last_advantage = delta + gamma * lam * last_advantage

    return advantages

# 策略梯度裁剪
ratio = (new_log_probs - old_log_probs).exp()
surr1 = ratio * advantages
surr2 = torch.clamp(ratio, 1.0 - clip_epsilon, 1.0 + clip_epsilon) * advantages
policy_loss = -torch.min(surr1, surr2).mean()

# KL 散度惩罚项
kl_penalty = F.kl_div(F.log_softmax(new_logits, dim=-1),
    F.softmax(old_logits.detach(), dim=-1),
    reduction='batchmean'
)

OpenAI 采用的 4 层 MLP 奖励模型结构：

class RewardModel(nn.Module):
    def __init__(self, hidden_size=768):
        super().__init__()
        self.layers = nn.Sequential(nn.Linear(hidden_size, hidden_size),  # 输入：语言模型隐藏状态
            nn.ReLU(),
            nn.Linear(hidden_size, hidden_size),
            nn.ReLU(),
            nn.Linear(hidden_size, hidden_size),
            nn.ReLU(),
            nn.Linear(hidden_size, 1)  # 输出：标量奖励值
        )

    def forward(self, hidden_states):
        # hidden_states: (batch_size, seq_len, hidden_size)
        # 取最后一个 token 的隐藏状态作为输入
        return self.layers(hidden_states[:, -1])