BP神经网络数据集处理实战：从数据清洗到模型训练的全流程指南

1次阅读

共计 1914 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始接触 BP 神经网络时，我曾天真地认为只要把数据塞进模型就能得到好结果。直到遇到模型不收敛、准确率波动大的问题后，才发现数据集处理才是真正的拦路虎。以下是我总结的实战经验，希望能帮你少走弯路。

缺失值 ：BP 神经网络的激活函数对输入非常敏感。假设某个特征有 30% 缺失值：
直接删除会导致样本量骤减
简单填充均值可能扭曲数据分布
异常值 ：Sigmoid 函数在极端值处梯度几乎为 0。我曾遇到一个案例：
某特征存在 5 个超过 3σ 的数值
导致该神经元权重更新停滞
最终模型准确率下降 12%
尺度差异 ：当特征量纲不同时（如年龄 0 -100 vs 年薪 0 -1000000）：
大数值特征会主导梯度方向
需要 3 - 5 倍迭代次数才能收敛

MinMaxScaler（归一化）：
公式：(x – min)/(max – min)
适合：像素值等已知边界的数据
注意：对异常值敏感
StandardScaler（标准化）：
公式：(x – μ)/σ
适合：符合正态分布的特征
优势：保留异常值信息

类型	适用场景	典型示例
one-hot	无序类别特征（≤10 类）	颜色：红 / 绿 / 蓝
label	有序类别或树模型	学历：小 / 中 / 高
embedding	高基数类别（>50 类）	用户 ID 处理

# 环境准备
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.compose import ColumnTransformer

# 示例数据集：员工离职预测
# 数值特征：满意度、绩效评分、月工时
# 类别特征：部门、职位、婚姻状况
data = pd.read_csv('hr_analytics.csv')

# 缺失值处理（演示两种策略）data['满意度'].fillna(data['满意度'].median(), inplace=True)  # 中位数填充

data.dropna(subset=['绩效评分'], inplace=True)  # 关键特征直接删除缺失

# 构建预处理流水线
numeric_features = ['满意度', '月工时']
categorical_features = ['部门', '职位']

preprocessor = ColumnTransformer(
    transformers=[('num', StandardScaler(), numeric_features),
        ('cat', OneHotEncoder(handle_unknown='ignore'), categorical_features)
    ])

# 数据集分割（重要！）X_train, X_test, y_train, y_test = train_test_split(data.drop('离职', axis=1),
    data['离职'],
    test_size=0.2,
    stratify=data['离职']  # 保持类别比例
)

# 应用预处理
X_train_processed = preprocessor.fit_transform(X_train)
X_test_processed = preprocessor.transform(X_test)  # 注意用 transform 而非 fit_transform

使用相同神经网络结构（3 层 MLP）进行对比：