BP神经网络实战：从Python数据集构建到模型训练完整指南

1次阅读

共计 1906 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络作为深度学习的基础模型，在图像识别、金融预测等领域展现出强大的非线性拟合能力。其核心价值在于通过误差反向传播自动调整权重，相比传统算法能更高效地学习复杂特征。本文将通过 Python 实战带你打通从数据预处理到模型训练的全流程。

维度灾难：输入层节点数与特征维度不匹配（如 28×28 图片未展平成 784 维向量）
学习率陷阱：过大导致震荡（如 0.1），过小收敛慢（如 0.0001）
梯度消失：sigmoid 函数在反向传播时梯度易衰减（尤其深层网络）
数据未归一化：特征尺度差异导致权重更新失衡（如像素值 0 -255 未缩放到 0 -1）

from sklearn.preprocessing import StandardScaler

def normalize_data(X_train, X_test):
    """将数据标准化为均值 0 方差 1"""
    scaler = StandardScaler()
    X_train = scaler.fit_transform(X_train)
    X_test = scaler.transform(X_test)
    return X_train, X_test

import numpy as np

def sigmoid(x: np.ndarray) -> np.ndarray:
    """Sigmoid 激活函数 $\\sigma(z) = \\frac{1}{1+e^{-z}}$"""
    return 1 / (1 + np.exp(-x))

def cross_entropy(y_pred: np.ndarray, y_true: np.ndarray) -> float:
    """交叉熵损失 $L = -\\sum y\\log(\\hat{y})$"""
    epsilon = 1e-15  # 防 log(0)
    return -np.mean(y_true * np.log(y_pred + epsilon))

def forward_pass(
    X: np.ndarray, 
    weights: list[np.ndarray], 
    biases: list[np.ndarray]
) -> list[np.ndarray]:
    """
    计算各层输出:
    $a^{(l)} = \\sigma(W^{(l)}a^{(l-1)} + b^{(l)})$
    """
    activations = [X]
    for w, b in zip(weights, biases):
        z = np.dot(activations[-1], w) + b
        activations.append(sigmoid(z))
    return activations

输入归一化必要性：
未归一化特征会导致梯度更新方向偏移
建议使用 MinMaxScaler 或 StandardScaler
隐藏层节点经验公式：
$N_h = \sqrt{N_i + N_o} + \alpha$（$N_i$ 输入节点数，$N_o$ 输出节点数，$\alpha$ 调节参数）

梯度检查实现：

def gradient_check(
    params: np.ndarray, 
    grad: np.ndarray, 
    cost_func: callable,
    epsilon: float = 1e-7
) -> bool:
    """数值逼近验证梯度计算正确性"""
    grad_approx = np.zeros_like(params)
    for i in range(len(params)):
        params_plus = params.copy()
        params_plus[i] += epsilon
        params_minus = params.copy()
        params_minus[i] -= epsilon
        grad_approx[i] = (cost_func(params_plus) - cost_func(params_minus)) / (2*epsilon)
    return np.allclose(grad, grad_approx, atol=1e-5)