BP神经网络预测实战：从数据预处理到模型调优全流程解析

1次阅读

共计 2176 个字符，预计需要花费 6 分钟才能阅读完成。

在实际预测任务中，BP 神经网络常遇到以下典型问题：

特征尺度差异 ：当输入特征量纲不一致时（如年龄 0 -100 和收入 0 -1000000），梯度更新会失衡。
训练震荡 ：学习率设置不当会导致损失函数剧烈波动，难以收敛。
梯度消失 ：sigmoid 激活函数在深层网络中容易出现梯度指数级衰减。
过拟合 ：模型在训练集表现良好但测试集性能骤降，尤其数据量较少时。

方法	优势	劣势
SVM	小样本表现好，理论完备	核函数选择困难，大数据计算成本高
随机森林	抗过拟合，特征重要性直观	难以捕捉复杂非线性关系，增量学习能力弱
BP 神经网络	自动特征工程，拟合任意复杂函数	需要大量数据，调参复杂

from sklearn.preprocessing import StandardScaler
import numpy as np

def preprocess_data(X: np.ndarray) -> tuple[np.ndarray, StandardScaler]:
    """
    数据标准化处理

    Args:
        X: 原始特征矩阵，形状 (n_samples, n_features)

    Returns:
        标准化后的数据和 scaler 对象
    """
    scaler = StandardScaler()
    X_scaled = scaler.fit_transform(X)
    return X_scaled, scaler

使用 Keras 构建带正则化的网络：

from tensorflow.keras.layers import Dense, Dropout, BatchNormalization
from tensorflow.keras.models import Sequential

def build_model(input_dim: int) -> Sequential:
    """
    构建含 Dropout 和 BatchNorm 的三层神经网络

    Args:
        input_dim: 输入特征维度
    """
    model = Sequential([Dense(128, activation='relu', input_shape=(input_dim,)),
        BatchNormalization(),
        Dropout(0.3),
        Dense(64, activation='relu'),
        BatchNormalization(),
        Dropout(0.2),
        Dense(1, activation='sigmoid')  # 分类任务使用 sigmoid
    ])
    return model

任务类型	推荐损失函数	公式
回归问题	MSE	$\frac{1}{n}\sum(y-\hat{y})^2$
二分类	Binary Crossentropy	$-\frac{1}{n}\sum[y\log\hat{y}+(1-y)\log(1-\hat{y})]$
多分类	Categorical Crossentropy	$-\frac{1}{n}\sum\sum y_i\log\hat{y}_i$

from tensorflow.keras.callbacks import ReduceLROnPlateau

lr_scheduler = ReduceLROnPlateau(
    monitor='val_loss', 
    factor=0.5,
    patience=3,
    min_lr=1e-6
)

from tensorflow.keras.callbacks import EarlyStopping

es = EarlyStopping(
    monitor='val_accuracy',
    patience=10,
    restore_best_weights=True
)

不平衡数据集需配合 precision/recall 查看
多分类问题建议用 classification_report

import tensorflow as tf

gpus = tf.config.list_physical_devices('GPU')
if gpus:
    for gpu in gpus:
        tf.config.experimental.set_memory_growth(gpu, True)

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

尝试将优化器替换为 AdamW（Adam with weight decay）：

from tensorflow.keras.optimizers import AdamW

model.compile(optimizer=AdamW(learning_rate=0.001, weight_decay=0.004),
    loss='binary_crossentropy'
)

通过完整的流程实践，我们发现：