BP神经网络数据分类实战：从特征工程到模型调优全流程解析

1次阅读

共计 2889 个字符，预计需要花费 8 分钟才能阅读完成。

BP 神经网络在处理高维数据时会遇到两个典型问题：

维度灾难 ：当特征维度超过数百时，网络参数量呈指数增长。例如一个 1000 维输入的单隐层网络（隐层 500 节点），仅第一层就需要 50 万个权重参数
收敛速度慢 ：传统 Sigmoid 激活函数在误差反向传播时容易出现梯度消失。实验显示，当网络深度达到 5 层时，底层权重更新量可能仅为顶层的 $10^{-6}$ 倍

函数类型	公式	优点	缺点
Sigmoid	$\frac{1}{1+e^{-x}}$	输出范围 (0,1)	梯度消失问题严重
ReLU	$max(0,x)$	计算简单，缓解梯度消失	可能出现神经元死亡
LeakyReLU	$max(0.01x,x)$	避免神经元死亡	需要调参

实践建议 ：优先使用 ReLU，当出现大量负激活时切换为 LeakyReLU

L1 正则化 ：损失函数添加 $\lambda\sum|w|$，适合特征选择
L2 正则化 ：损失函数添加 $\frac{1}{2}\lambda\sum w^2$，更适合防止过拟合

# sklearn 风格的正则化实现
from sklearn.linear_model import SGDClassifier
clf = SGDClassifier(penalty='elasticnet', 
                   l1_ratio=0.5)  # L1 和 L2 混合

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import MinMaxScaler
from sklearn.decomposition import PCA

preprocess = Pipeline([('scaler', MinMaxScaler(feature_range=(0, 1))),
    ('pca', PCA(n_components=0.95))  # 保留 95% 方差
])
X_train = preprocess.fit_transform(X_raw)

import numpy as np

class BPNetwork:
    def __init__(self, layers, dropout_rate=0.2):
        self.weights = []
        for i in range(len(layers)-1):
            # Xavier 初始化
            limit = np.sqrt(6/(layers[i]+layers[i+1]))
            self.weights.append(np.random.uniform(-limit, limit, 
                                 (layers[i], layers[i+1])))
        self.dropout_rate = dropout_rate

    def forward(self, x, is_training=True):
        self.layer_inputs = []
        self.layer_outputs = [x]

        for i, w in enumerate(self.weights[:-1]):
            z = np.dot(self.layer_outputs[-1], w)
            a = np.maximum(0, z)  # ReLU 激活

            if is_training and self.dropout_rate > 0:
                mask = (np.random.rand(*a.shape) > self.dropout_rate)
                a *= mask / (1 - self.dropout_rate)

            self.layer_inputs.append(z)
            self.layer_outputs.append(a)

        # 输出层使用 softmax
        z = np.dot(self.layer_outputs[-1], self.weights[-1])
        exp = np.exp(z - np.max(z, axis=1, keepdims=True))
        self.layer_outputs.append(exp / np.sum(exp, axis=1, keepdims=True))
        return self.layer_outputs[-1]

    def backward(self, x, y, learning_rate):
        # 反向传播实现（省略部分代码）delta = (self.layer_outputs[-1] - y) / x.shape[0]
        for i in range(len(self.weights)-1, 0, -1):
            grad = np.dot(self.layer_outputs[i].T, delta)
            self.weights[i] -= learning_rate * grad

            # 通过链式法则计算上一层的 delta
            delta = np.dot(delta, self.weights[i].T)
            delta[self.layer_inputs[i-1] <= 0] = 0  # ReLU 梯度

# TensorBoard 可视化配置
from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()

for epoch in range(100):
    lr = 0.1 * (0.95 ** epoch)  # 指数衰减
    # ... 训练代码...
    writer.add_scalar('LearningRate', lr, epoch)

Batch Size	GPU 显存占用 (MB)	训练时间 /epoch(s)
32	1243	45
64	1867	38
128	3021	33

发现：batch size 增大能提升训练速度，但边际效益递减

# 计算样本权重
from sklearn.utils.class_weight import compute_class_weight
classes = np.unique(y_train)
weights = compute_class_weight('balanced', classes=classes, y=y_train)
class_weight = dict(zip(classes, weights))

gradient_norms = [np.linalg.norm(g) for g in gradients]
if max(gradient_norms) > 1e5:
    print(f"梯度爆炸！最大梯度范数: {max(gradient_norms):.2f}")
    # 实施梯度裁剪
    gradients = [np.clip(g, -1, 1) for g in gradients]

如何结合 CNN 的特征提取能力来增强 BP 网络？可以考虑：