BP神经网络预测实战：从数据预处理到模型调优全流程解析

1次阅读

共计 2151 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络在实际预测任务中常遇到三个典型问题：

特征尺度差异 ：当输入特征量纲不一致时（如年龄 0 -100 和收入 0 -100000），梯度下降会因各维度更新速度不同而难以收敛。
训练震荡 ：学习率设置不当会导致损失函数在最优值附近剧烈波动，表现为训练曲线锯齿状。
泛化能力差 ：模型在训练集表现良好但测试集效果差，常见于网络层数过深或数据量不足时。

方法	优势	劣势
SVM	小样本表现好，泛化能力强	核函数选择依赖经验
随机森林	抗过拟合，特征重要性可视化	难以处理高维稀疏数据
BP 神经网络	自动特征工程，适合复杂模式	需要大量数据和调参经验

from sklearn.preprocessing import StandardScaler
import numpy as np

def preprocess_data(X: np.ndarray) -> np.ndarray:
    """
    标准化输入数据

    Args:
        X: 原始特征矩阵，形状 (n_samples, n_features)

    Returns:
        标准化后的特征矩阵
    """
    scaler = StandardScaler()
    return scaler.fit_transform(X)

from tensorflow.keras.layers import Dense, Dropout, BatchNormalization
from tensorflow.keras.models import Sequential

def build_model(input_dim: int) -> Sequential:
    """
    构建含 Dropout 和 BatchNorm 的三层神经网络

    Args:
        input_dim: 输入特征维度
    """
    model = Sequential([Dense(64, activation='relu', input_shape=(input_dim,)),
        BatchNormalization(),
        Dropout(0.3),
        Dense(32, activation='relu'),
        Dense(1, activation='sigmoid')  # 二分类输出层
    ])
    return model

MSE（均方误差）：适合回归任务，公式：$\frac{1}{n}\sum(y-\hat{y})^2$
Cross-Entropy：适合分类任务，公式：$-\sum y\log(\hat{y})$

from tensorflow.keras.callbacks import LearningRateScheduler

def lr_schedule(epoch):
    """每 10 轮学习率减半"""
    initial_lr = 0.01
    drop = 0.5
    epochs_drop = 10.0
    lr = initial_lr * (drop ** (epoch // epochs_drop))
    return max(lr, 1e-6)  # 设置最小学习率下限

lr_scheduler = LearningRateScheduler(lr_schedule)

from tensorflow.keras.callbacks import EarlyStopping

es_callback = EarlyStopping(
    monitor='val_loss',
    patience=5,  # 允许的停滞轮次
    restore_best_weights=True  # 恢复最佳模型参数
)

import tensorflow as tf

# 显存动态分配
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

with open('model_quant.tflite', 'wb') as f:
    f.write(tflite_model)

可以尝试将优化器从 Adam 替换为 AdamW（Adam with weight decay），它能更有效地控制权重衰减，防止过拟合：

from tensorflow.keras.optimizers import AdamW

model.compile(optimizer=AdamW(learning_rate=0.001, weight_decay=1e-4),
    loss='binary_crossentropy'
)