深度强化学习在CEC测试集上的应用与优化实战

1次阅读

没有评论

共计 1331 个字符，预计需要花费 4 分钟才能阅读完成。

CEC（Congress on Evolutionary Computation）测试集是优化算法领域的标准基准，包含多种复杂、多峰的优化问题。当我们将深度强化学习（DRL）应用于这类测试集时，面临几个核心挑战：

高维度状态空间：CEC 问题通常涉及高维输入，直接使用原始状态表示会导致训练不稳定。
稀疏奖励问题：传统奖励函数设计难以在复杂搜索空间中提供有效梯度信号。
局部最优陷阱：多峰特性容易使 DRL 策略陷入次优解。

我们对比了三种主流 DRL 算法在 CEC2017 测试集上的表现（均使用相同超参数迭代 50 万步）：

DQN：基础 Q -learning 框架，在低维问题上表现稳定，但面对高维 CEC 问题时 Q 值估计偏差显著。
PPO：策略梯度方法，能处理连续动作空间，但对奖励函数形状敏感。
SAC：最大熵框架在探索性上表现突出，最终选择其作为基础算法（平均比 PPO 高 12% 收敛速度）。

传统绝对值奖励 $r = -|f(x)-f^*|$ 在远离最优时梯度饱和，我们采用分段对数奖励：

def reward_func(state, optimal):
    error = abs(calculate_fitness(state) - optimal)
    if error > 1e-3:
        return -np.log10(error)  # 远距离时对数放大梯度
    else:
        return 100 * (1 - error)  # 近距离时线性奖励

使用 PCA 降维后拼接历史信息（过去 5 步的状态差分）：

class StateEncoder:
    def __init__(self, obs_dim=30):
        self.pca = PCA(n_components=5)
        self.history = deque(maxlen=5)

    def encode(self, state):
        reduced = self.pca.fit_transform(state.reshape(1,-1))
        diff = np.zeros(5) if not self.history else state - self.history[-1]
        self.history.append(state)
        return np.concatenate([reduced.flatten(), diff])

在 CEC2017 的 f1 函数（旋转超椭球体）上对比：