BP神经网络训练数据集：从数据准备到模型优化的新手避坑指南

1次阅读

共计 3129 个字符，预计需要花费 8 分钟才能阅读完成。

BP 神经网络对输入数据极为敏感，主要体现在两个维度：

数据结构的匹配性 ：输入层神经元数量必须严格等于特征维度。例如处理 28×28 图像时，若未展平为 784 维向量会导致维度不匹配错误
数据分布的稳定性 ：特征值范围差异过大会导致梯度爆炸 / 消失。比如年龄（0-100）与收入（0-100000）未归一化时，权重更新会严重失衡

import numpy as np
import pandas as pd

# 示例：处理缺失值与异常值
def clean_data(df):
    # 删除缺失率超过 30% 的列
    df = df.loc[:, df.isnull().mean() < 0.3] 

    # 数值型列用中位数填充
    num_cols = df.select_dtypes(include=np.number).columns
    df[num_cols] = df[num_cols].fillna(df[num_cols].median())

    # 剔除 3 个标准差外的异常值
    for col in num_cols:
        upper = df[col].mean() + 3*df[col].std()
        lower = df[col].mean() - 3*df[col].std()
        df = df[(df[col] > lower) & (df[col] < upper)]

    return df

关键选择 ：

标准化（Z-score）：适用于存在异常值的情况
归一化（MinMax）：适合输出层使用 Sigmoid 激活的场景

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 标准化示例
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 重要！使用训练集的参数

# 归一化示例
minmax_scaler = MinMaxScaler(feature_range=(0, 1))
X_train_minmax = minmax_scaler.fit_transform(X_train)

基础划分法 ：训练集 70%、验证集 15%、测试集 15%
小数据策略 （样本 <1 万）：使用 5 折交叉验证
时序数据注意 ：必须按时间顺序划分，禁止随机 shuffle

from sklearn.model_selection import train_test_split

# 基础划分示例
X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.3, random_state=42)
X_val, X_test, y_val, y_test = train_test_split(X_temp, y_temp, test_size=0.5, random_state=42)

注意：评估指标应选用 F1-score 或 AUC-ROC，准确率会失真

from imblearn.over_sampling import SMOTE

# 过采样示例
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X_train, y_train)

# 欠采样示例（适合大数据集）from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(random_state=42)
X_under, y_under = rus.fit_resample(X_train, y_train)

过拟合标志 ：训练损失持续下降但验证损失开始上升

import torch.nn as nn

# PyTorch 实现 L2 正则化
class MLP(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, 64)
        self.fc2 = nn.Linear(64, 1)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        return torch.sigmoid(self.fc2(x))

model = MLP(input_dim=20)
optimizer = torch.optim.Adam(model.parameters(), 
    lr=0.001,
    weight_decay=0.01  # L2 正则化系数
)

学习率（LR）：初始建议 0.001，配合 ReduceLROnPlateau 动态调整
批量大小 ：通常选择 32/64/128，显存不足时优先减小批量而非降低模型复杂度

# PyTorch 动态学习率示例
from torch.optim.lr_scheduler import ReduceLROnPlateau

scheduler = ReduceLROnPlateau(
    optimizer, 
    mode='min', 
    factor=0.5, 
    patience=3,
    verbose=True
)

# 在训练循环中调用
for epoch in range(100):
    train_loss = train_one_epoch()
    val_loss = validate()
    scheduler.step(val_loss)  # 根据验证损失调整 LR

激活函数	适用场景	注意事项
ReLU	隐藏层首选	可能出现神经元死亡
LeakyReLU	解决 ReLU 死亡问题	需要调参 α 值
Sigmoid	二分类输出层	容易梯度消失
Tanh	RNN 网络	计算量稍大

def validate_input(X, y):
    assert X.ndim == 2, "输入必须是 2D 矩阵"
    assert not np.any(np.isnan(X)), "存在 NaN 值"
    assert X.shape[0] == y.shape[0], "样本数量不匹配"
    return True

try:
    for batch in dataloader:
        optimizer.zero_grad()
        outputs = model(batch.inputs)
        loss = criterion(outputs, batch.labels)
        loss.backward()

        # 梯度裁剪防止爆炸
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

        optimizer.step()
except RuntimeError as e:
    if "CUDA out of memory" in str(e):
        print("显存不足！尝试减小 batch_size")
        raise

推荐练手数据集 ：
1. Kaggle 上的 Titanic（结构化数据入门）
2. MNIST 手写数字（图像分类基础）
3. UCI 葡萄酒数据集（小样本多分类）

实践路线 ：