BP神经网络回归拟合图的原理与实战：从数据预处理到模型调优

1次阅读

没有评论

共计 2505 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习中，传统线性回归模型在处理非线性关系时往往表现不佳。当数据存在复杂交互特征或高阶相关性时，简单的线性组合难以捕捉真实规律。而 BP 神经网络通过多层非线性变换，能够灵活拟合各种复杂函数关系，成为解决这类问题的有力工具。

数据标准化是将不同量纲的特征缩放到相同区间，避免数值较大的特征主导模型训练。常用的方法包括 Z -score 标准化和 MinMax 归一化。
对于神经网络而言，输入特征的尺度差异会导致梯度更新不稳定，影响收敛速度。标准化后的数据通常能使训练过程更平稳。
在回归任务中，建议同时对目标变量进行缩放，特别是在使用 Sigmoid 或 Tanh 激活函数时，确保输出范围与激活函数值域匹配。

输入层节点数由特征维度决定，输出层节点数由预测目标数量决定（单输出回归任务为 1）。
隐藏层节点数没有固定公式，通常从较小规模开始（如输入节点数的 1 / 2 到 2 /3），通过实验调整。
对于回归问题，隐藏层不宜过深，2- 3 层通常足够。过多层数可能增加过拟合风险。

Sigmoid：输出范围 (0,1)，适合概率输出，但存在梯度消失问题
$$\sigma(x) = \frac{1}{1+e^{-x}}$$
Tanh：输出范围 (-1,1)，梯度比 Sigmoid 大，但仍有饱和区
$$\tanh(x) = \frac{e^x – e^{-x}}{e^x + e^{-x}}$$
ReLU：计算简单，缓解梯度消失，但可能出现神经元死亡
$$ReLU(x) = max(0,x)$$

回归任务中，隐藏层推荐使用 ReLU 或其变体（如 LeakyReLU），输出层根据目标范围选择线性激活或无激活。

均方误差（MSE）是回归问题的标准损失函数：
$$MSE = \frac{1}{n}\sum_{i=1}^n(y_i – \hat{y_i})^2$$

Adam 优化器结合了动量与自适应学习率，通常作为默认选择：

model.compile(optimizer='adam', loss='mse')

import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.callbacks import EarlyStopping

# 生成非线性数据
np.random.seed(42)
X = np.linspace(-5, 5, 500).reshape(-1, 1)
y = np.sin(X) + 0.2 * np.random.randn(*X.shape)

# 数据标准化
scaler_X = StandardScaler()
scaler_y = StandardScaler()
X_scaled = scaler_X.fit_transform(X)
y_scaled = scaler_y.fit_transform(y)

# 构建模型
model = Sequential([Dense(64, activation='relu', input_shape=(1,)),
    Dense(32, activation='relu'),
    Dense(1)  # 线性输出
])

# 编译模型
model.compile(optimizer='adam', loss='mse')

# 早停法
early_stop = EarlyStopping(monitor='val_loss', patience=20, restore_best_weights=True)

# 训练模型
history = model.fit(
    X_scaled, y_scaled,
    validation_split=0.2,
    epochs=500,
    batch_size=32,  # 适中 batch 大小平衡速度与稳定性
    verbose=0,
    callbacks=[early_stop]
)

# 预测与反标准化
y_pred_scaled = model.predict(X_scaled)
y_pred = scaler_y.inverse_transform(y_pred_scaled)

# 可视化结果
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
plt.scatter(X, y, s=5, label='真实数据')
plt.plot(X, y_pred, c='r', linewidth=2, label='预测结果')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(history.history['loss'], label='训练损失')
plt.plot(history.history['val_loss'], label='验证损失')
plt.legend()
plt.show()