BP神经网络预测模型：从数学原理到工程实践

1次阅读

共计 1874 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络通过多层非线性变换能自动学习复杂特征，相比线性回归等传统模型：
– 无需人工设计高阶交叉特征
– 对噪声数据具有更强鲁棒性
– 端到端训练方式更适合处理多维时序数据

假设输入层 $X\in\mathbb{R}^{n\times d}$，第一层权重 $W_1\in\mathbb{R}^{d\times h}$，则隐藏层输出：
$$H_1 = \sigma(XW_1 + b_1)$$
其中 $\sigma$ 为激活函数，后续层计算同理。最终输出层结果：
$$\hat{Y} = \text{softmax}(H_2W_3 + b_3)$$

计算输出层误差 $\delta_3 = \hat{Y} – Y$
反向传播隐藏层误差：$\delta_2 = \delta_3 W_3^T \odot \sigma'(H_2)$
权重梯度计算：$\frac{\partial L}{\partial W_2} = H_1^T \delta_2$

Sigmoid：适合二分类输出层，但易导致梯度消失
ReLU：隐藏层首选，计算高效且缓解梯度消失
LeakyReLU：负区间保留微小梯度，改善神经元死亡

import tensorflow as tf
from sklearn.preprocessing import StandardScaler

# 数据预处理
scaler = StandardScaler()
X_train = scaler.fit_transform(X_raw)

# 模型构建
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu', 
                         kernel_regularizer=tf.keras.regularizers.l2(0.01)),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dropout(0.3),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

# 训练配置
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='binary_crossentropy',
    metrics=['accuracy']
)

# 早停法回调
early_stop = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)

# 模型训练
history = model.fit(
    X_train, y_train,
    validation_split=0.2,
    epochs=100,
    batch_size=32,
    callbacks=[early_stop],
    class_weight={0: 1, 1: 3}  # 处理类别不平衡
)

监控梯度范数：tf.debugging.check_numerics

实施梯度裁剪：

optimizer = tf.keras.optimizers.Adam(clipvalue=1.0)

调整 class_weight 参数
采用 Focal Loss 替代交叉熵
过采样少数类 (SMOTE)

import shap
background = X_train[:100]
explainer = shap.DeepExplainer(model, background)
shap_values = explainer.shap_values(X_test[:10])
shap.summary_plot(shap_values, X_test)