粒子群优化算法（PSO）在神经网络参数优化中的实战应用与PySwarms实现

1次阅读

没有评论

共计 2491 个字符，预计需要花费 7 分钟才能阅读完成。

在训练神经网络时，我们通常使用梯度下降法及其变种（如 SGD、Adam）来优化模型参数。这种方法虽然有效，但也存在一些明显的局限性：

容易陷入局部最优解，特别是对于非凸优化问题
对学习率等超参数敏感，需要精心调参
在损失函数存在平坦区域时收敛缓慢
需要可微的目标函数，限制了应用场景

这些局限性促使我们探索其他优化方法，粒子群优化（PSO）就是其中一种有前途的替代方案。

让我们比较几种常见的优化算法：

遗传算法(GA)：
优点：全局搜索能力强，适合复杂优化问题
缺点：计算成本高，收敛速度慢
模拟退火(SA)：
优点：可以跳出局部最优
缺点：收敛速度不稳定
标准梯度下降：
优点：计算效率高
缺点：容易陷入局部最优
PSO：
优点：实现简单，收敛速度快，全局搜索能力强
缺点：需要调整参数（如惯性权重）

PSO 特别适合神经网络参数优化，因为：
1. 不需要计算梯度
2. 可以并行搜索多个潜在解
3. 对初始参数不敏感

pip install pyswarms

我们构建一个简单的 3 层前馈网络：

import numpy as np
import tensorflow as tf

class SimpleNN:
    def __init__(self):
        self.model = tf.keras.Sequential([tf.keras.layers.Dense(10, activation='relu'),
            tf.keras.layers.Dense(10, activation='relu'),
            tf.keras.layers.Dense(1)
        ])

    def predict(self, x, weights):
        # 将 PSO 优化的权重注入模型
        self.model.set_weights(weights)
        return self.model.predict(x)

import pyswarms as ps

def pso_optimize(nn, X, y, n_particles=20, iters=100):
    # 定义目标函数
    def objective_function(positions):
        # positions 是粒子的位置矩阵
        losses = []
        for pos in positions:
            # 将一维向量转换为网络权重结构
            weights = vector_to_weights(pos, nn.model)
            y_pred = nn.predict(X, weights)
            loss = np.mean((y_pred - y)**2)
            losses.append(loss)
        return np.array(losses)

    # 初始化 PSO
    options = {'c1': 0.5, 'c2': 0.3, 'w':0.9}
    optimizer = ps.single.GlobalBestPSO(
        n_particles=n_particles,
        dimensions=count_weights(nn.model),
        options=options
    )

    # 运行优化
    best_pos, best_cost = optimizer.optimize(
        objective_function, 
        iters=iters
    )

    return vector_to_weights(best_pos, nn.model)

以下是完整的实现代码，包含数据准备、模型训练和评估：

# 数据准备
X = np.linspace(-5, 5, 100).reshape(-1, 1)
y = np.sin(X) + 0.1*np.random.randn(*X.shape)

# 模型初始化
nn = SimpleNN()

# 辅助函数
def count_weights(model):
    """计算模型总参数数量"""
    return sum(w.size for w in model.get_weights())

def vector_to_weights(vector, model):
    """将一维向量转换为模型权重结构"""
    weights = []
    idx = 0
    for layer in model.get_weights():
        size = layer.size
        shape = layer.shape
        weights.append(vector[idx:idx+size].reshape(shape))
        idx += size
    return weights

# 运行 PSO 优化
best_weights = pso_optimize(nn, X, y, n_particles=30, iters=50)

# 评估优化结果
nn.model.set_weights(best_weights)
y_pred = nn.model.predict(X)

# 可视化
import matplotlib.pyplot as plt
plt.scatter(X, y, label='真实数据')
plt.plot(X, y_pred, 'r', label='PSO 优化后预测')
plt.legend()
plt.show()

我们对比了 PSO 优化和传统 Adam 优化器的表现：