Python实战：BP神经网络预测模型从零构建与优化指南

1次阅读

没有评论

共计 2375 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络作为经典的深度学习模型，在时间序列预测和分类任务中表现优异，但新手常遇到几个典型问题：

梯度消失：当网络层数较多时，梯度在反向传播过程中会逐渐减小，导致深层权重难以更新。例如使用 Sigmoid 激活函数时，其导数值最大仅 0.25，多层连乘后梯度可能接近零。
局部最优：复杂的损失函数曲面可能导致模型收敛到局部最小值而非全局最优。特别是在初始化权重不当时，这种现象更为明显。
特征缩放必要性：输入数据尺度差异大会导致梯度下降震荡。比如某个特征值范围是 0 -1，另一个是 100-1000，后者对权重更新的影响会主导训练过程。

优点：
– 完全掌控算法细节，适合教学和理解原理
– 不依赖第三方库，环境配置简单
– 反向传播过程可视化程度高

缺点：
– 需要自行实现梯度计算等基础组件
– 缺乏 GPU 加速，大数据集训练慢
– 需要手动处理数值稳定性问题

优点：
– 自动微分功能节省开发时间
– 内置优化器、损失函数等标准组件
– 支持 GPU 加速和分布式训练

缺点：
– 框架抽象隐藏了实现细节
– 需要学习额外的 API 概念
– 小型项目可能有过度依赖之嫌

import numpy as np
class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 使用 Xavier 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros((1, output_size))

def sigmoid(self, x):
    # 防止数值溢出
    x = np.clip(x, -500, 500)
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(self, x):
    # 使用已计算的 sigmoid 值提高效率
    s = self.sigmoid(x)
    return s * (1 - s)

def backward(self, X, y, learning_rate, epoch):
    # 动态调整学习率
    lr = learning_rate * (0.95 ** epoch)

    # 前向传播缓存
    z1 = np.dot(X, self.W1) + self.b1
    a1 = self.sigmoid(z1)
    z2 = np.dot(a1, self.W2) + self.b2
    a2 = self.sigmoid(z2)

    # 反向传播
    dloss = 2 * (a2 - y) / y.shape[0]  # MSE 导数
    # 输出层梯度
    dW2 = np.dot(a1.T, dloss * self.sigmoid_derivative(z2))
    db2 = np.sum(dloss * self.sigmoid_derivative(z2), axis=0)
    # 隐藏层梯度
    dhidden = np.dot(dloss * self.sigmoid_derivative(z2), self.W2.T)
    dW1 = np.dot(X.T, dhidden * self.sigmoid_derivative(z1))
    db1 = np.sum(dhidden * self.sigmoid_derivative(z1), axis=0)

    # 参数更新
    self.W1 -= lr * dW1
    self.b1 -= lr * db1
    self.W2 -= lr * dW2
    self.b2 -= lr * db2

MinMaxScaler：将特征缩放到 [0,1] 区间，公式：
$$x_{norm} = \frac{x – x_{min}}{x_{max} – x_{min}}$$
标准化效果对比：
未标准化：可能需要 1000 轮收敛
标准化后：通常 300-500 轮即可收敛

经验公式：
$$
N_h = \frac{N_i + N_o}{2} + \sqrt{N_{samples}}
$$
其中 $N_i$ 为输入特征数，$N_o$ 为输出维度，$N_{samples}$ 为训练样本数

best_loss = float('inf')
patience = 5
counter = 0

for epoch in range(epochs):
    train_loss = model.train(X_train, y_train)
    val_loss = model.evaluate(X_val, y_val)

    if val_loss < best_loss:
        best_loss = val_loss
        counter = 0
        # 保存模型权重
    else:
        counter += 1
        if counter >= patience:
            print(f'Early stopping at epoch {epoch}')
            break