遗传优化算法(GA)优化的反向传播神经网络(BPNN)实战指南：从原理到调参

1次阅读

共计 1786 个字符，预计需要花费 5 分钟才能阅读完成。

传统的 BP 神经网络存在三个典型问题：
1. 梯度消失：误差反向传播时，梯度会随着层数增加而指数级衰减
2. 初始权重敏感：随机初始化的权重会极大影响最终收敛结果
3. 局部最优陷阱：误差曲面存在多个极小值点，容易陷入次优解

这些问题正是我们引入遗传算法 (GA) 进行优化的动机。

SGD/Adam：基于梯度下降的局部搜索
优点：计算效率高
缺点：依赖初始点选择
GA：模拟生物进化的全局搜索
优点：并行探索解空间
缺点：计算成本较高

浮点数编码
直接使用权重值作为基因
示例：[0.23, -1.57, 0.89]
优点：无需编解码转换
二进制编码
将浮点数转为二进制串
示例：010110 → 0.35
优点：便于传统交叉操作

分类任务：推荐交叉熵损失
$$\mathcal{L} = -\sum y_i\log(p_i)$$
回归任务：选用均方误差(MSE)
$$\mathcal{L} = \frac{1}{N}\sum(y_i-\hat{y}_i)^2$$

初始化神经网络结构和 GA 参数
随机生成权重种群
循环直到满足停止条件：
前向传播计算适应度
选择优秀个体
执行交叉变异
更新种群
提取最优权重应用于 BPNN

# 种群初始化
def init_population(pop_size, weight_dim):
    """
    pop_size: 种群规模
    weight_dim: 权重向量维度
    返回: (pop_size, weight_dim)的随机矩阵
    """
    return np.random.uniform(-1, 1, (pop_size, weight_dim))

# 锦标赛选择
def tournament_selection(pop, fitness, k=3):
    """
    pop: 当前种群
    fitness: 对应适应度值
    k: 每次比较的个体数
    """
    selected = []
    for _ in range(len(pop)):
        idx = np.random.choice(len(pop), k, replace=False)
        winner = idx[np.argmin(fitness[idx])]  # 最小化损失
        selected.append(pop[winner])
    return np.array(selected)

# 均匀交叉
def uniform_crossover(parent1, parent2, pc=0.8):
    """pc: 交叉概率"""
    if np.random.rand() > pc:
        return parent1.copy()

    mask = np.random.randint(0, 2, size=parent1.shape)
    child = parent1 * mask + parent2 * (1 - mask)
    return child

# 高斯变异
def gaussian_mutation(child, pm=0.1, sigma=0.1):
    """
    pm: 变异概率
    sigma: 变异强度
    """
    mask = np.random.rand(*child.shape) < pm
    noise = np.random.normal(0, sigma, child.shape)
    return child + mask * noise