深度强化学习在CEC测试集上的应用与优化实战

1次阅读

没有评论

共计 1597 个字符，预计需要花费 4 分钟才能阅读完成。

CEC（Congress on Evolutionary Computation）测试集是优化算法领域的经典基准，包含多模态、旋转、偏移等复杂函数特性。将其引入深度强化学习（DRL）时面临三大挑战：

稀疏奖励问题 ：传统 CEC 测试函数输出为标量误差值，直接作为奖励信号会导致训练早期反馈信息不足。
高维状态空间 ：CEC 测试函数通常需要处理高维输入（如 30D、50D），直接使用原始坐标作为状态会降低 DRL 模型收敛效率。
动态适应性要求 ：测试函数常包含时变参数（如旋转矩阵周期性变化），要求 DRL 模型具备在线适应能力。

通过 OpenAI Gym 自定义环境测试主流 DRL 算法表现：

PPO：在 CEC2014 的 F8（旋转 Rastrigin 函数）上表现稳定，但探索效率较低
SAC：对高维状态适应性强，但在含噪声的 F15（混合复合函数）上易过度拟合
TD3：在凸函数类（如 F1）中收敛最快，但对多模态函数易陷局部最优

实验显示，PPO 与 SAC 的组合策略（前期 PPO 快速收敛，后期 SAC 精细调优）在多数测试函数上取得帕累托最优。

def custom_reward(state, next_state):
    # 相对进步奖励：鼓励误差减小
    delta_error = abs(current_error) - abs(next_error)
    # 探索奖励：对新区域给予小幅度激励
    novelty_bonus = 0.01 if not is_visited(state) else 0
    # 平滑惩罚：避免剧烈震荡
    action_penalty = 0.001 * np.linalg.norm(action)
    return delta_error + novelty_bonus - action_penalty

采用 PCA 降维 + 时序堆叠：

from sklearn.decomposition import IncrementalPCA

class StateEncoder:
    def __init__(self, n_components=8):
        self.pca = IncrementalPCA(n_components=n_components)
        self.state_buffer = deque(maxlen=3)  # 保留最近 3 步状态

    def transform(self, raw_state):
        reduced = self.pca.fit_transform(raw_state.reshape(1,-1))
        self.state_buffer.append(reduced)
        return np.concatenate(list(self.state_buffer), axis=1)

在 CEC2017 测试集上的对比实验（平均 20 次运行）：