BP神经网络回归预测实战：从数学原理到工程实现

1次阅读

共计 2371 个字符，预计需要花费 6 分钟才能阅读完成。

回归预测在工业界应用广泛，例如电商销量预测需要处理促销活动的非线性影响，设备剩余寿命预测涉及多传感器信号的复杂交互，房价预测则需建模地理位置与房屋特征的高阶关系。传统线性回归模型因 $y=w^Tx+b$ 的线性假设，难以捕捉这些场景中特征间的非线性耦合效应，导致预测性能瓶颈。

SVM：依靠核函数映射解决非线性问题，但核函数选择依赖经验，且计算复杂度随样本量平方增长
决策树 ：自动处理特征交互，但缺乏平滑性导致预测波动大，容易过拟合
BP 神经网络 ：通过 $\sigma(w^Tx+b)$ 激活函数堆叠实现任意非线性拟合，端到端自动学习特征表示

隐藏层使用 ReLU 激活时，理论上可逼近任何连续函数（Universal Approximation Theorem）
反向传播算法实现梯度自动微分，避免手动设计特征工程
Mini-batch 训练支持海量数据并行处理

import numpy as np
from typing import Tuple, List

class ThreeLayerBPN:
    def __init__(self, input_dim: int, hidden_dim: int, l2_reg: float = 0.01):
        # He 初始化缓解梯度消失
        self.W1 = np.random.randn(input_dim, hidden_dim) * np.sqrt(2/input_dim)
        self.b1 = np.zeros(hidden_dim)
        self.W2 = np.random.randn(hidden_dim, 1) * np.sqrt(2/hidden_dim)
        self.b2 = np.zeros(1)
        self.l2_reg = l2_reg

    def relu(self, x: np.ndarray) -> np.ndarray:
        return np.maximum(0, x)

    def relu_derivative(self, x: np.ndarray) -> np.ndarray:
        return (x > 0).astype(float)

    def forward(self, X: np.ndarray) -> Tuple[np.ndarray, List[np.ndarray]]:
        """返回预测值及中间层激活结果"""
        self.z1 = X @ self.W1 + self.b1  # 线性变换
        self.a1 = self.relu(self.z1)     # 非线性激活
        self.z2 = self.a1 @ self.W2 + self.b2
        return self.z2, [self.z1, self.a1]

    def backward(self, X: np.ndarray, y: np.ndarray, 
                 cache: List[np.ndarray]) -> dict:
        """计算带 L2 正则化的梯度"""
        m = X.shape[0]
        dz2 = (cache[-1] - y) / m       # 输出层误差
        dW2 = cache[1].T @ dz2 + self.l2_reg * self.W2/m
        db2 = np.sum(dz2, axis=0)

        dz1 = (dz2 @ self.W2.T) * self.relu_derivative(cache[0])
        dW1 = X.T @ dz1 + self.l2_reg * self.W1/m
        db1 = np.sum(dz1, axis=0)

        return {'W1': dW1, 'b1': db1, 'W2': dW2, 'b2': db2}

def cosine_annealing(lr_init: float, epoch: int, 
                    total_epochs: int) -> float:
    """余弦退火学习率"""
    return lr_init * 0.5 * (1 + np.cos(epoch * np.pi / total_epochs))

隐藏层节点数	训练时间 (s)	RMSE (验证集)
8	42.1	0.89
32	118.7	0.73
128	356.4	0.68

from sklearn.metrics import mean_squared_error

def early_stopping(val_loss: List[float], patience: int = 5) -> bool:
    if len(val_loss) < patience + 1:
        return False
    # 最近 patience 次损失未下降
    return all(val_loss[-i] >= val_loss[-i-1] 
               for i in range(1, patience+1))

现象：隐藏层梯度范数逐层指数级减小
对策：
改用 LeakyReLU 激活函数
残差连接（ResNet 结构）
梯度裁剪（Gradient Clipping）

class SampleWeightGenerator:
    def __init__(self, y: np.ndarray):
        bins = np.histogram(y, bins=10)[0]
        self.weights = 1 / (bins + 1e-5)

    def get_weights(self, y: np.ndarray) -> np.ndarray:
        bin_idx = np.digitize(y, bins=np.linspace(y.min(), y.max(), 10))
        return self.weights[bin_idx-1]