BP神经网络原始数据处理实战：从数据清洗到特征工程的最佳实践

1次阅读

共计 2120 个字符，预计需要花费 6 分钟才能阅读完成。

在 MNIST 手写数字识别任务中，10% 的噪声数据会导致 BP 神经网络准确率下降 15%；CIFAR-10 图像分类实验表明，未标准化的像素输入需要多训练 30% 的 epoch 才能收敛；Kaggle 竞赛分析报告指出，80% 的模型性能问题可追溯至原始数据处理不当。这些案例印证了数据质量对模型效果的决定性影响。

面对原始数据中的缺失值，我们有三种主流处理策略：

删除法：直接丢弃含缺失值的样本，适合缺失比例 <5% 且随机分布的情况
```
df.dropna(inplace=True)  # 简单粗暴但可能损失信息
```

均值 / 中位数填充：适用于数值型特征且分布相对稳定的场景

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='median')
df['age'] = imputer.fit_transform(df[['age']])

模型预测填充：用其他特征预测缺失值，适合复杂依赖关系

from sklearn.ensemble import RandomForestRegressor
# 用非缺失数据训练预测模型
model = RandomForestRegressor().fit(df_train, y_train)
df_test['missing_feature'] = model.predict(df_test)

BP 神经网络对输入尺度极其敏感，标准化（Z-score）和归一化（MinMax）是最常用的两种方法：

标准化：$z = \frac{x – \mu}{\sigma}$，适用于存在异常值的情形

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)

归一化：$x’ = \frac{x – min}{max – min}$，适合图像像素等有固定范围的数据

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler(feature_range=(0, 1))
X_train = scaler.fit_transform(X_train)

# 假设的对比图链接

当遇到类别不平衡时：

过采样（SMOTE）：对小类样本进行智能插值

from imblearn.over_sampling import SMOTE
sm = SMOTE(sampling_strategy='minority')
X_res, y_res = sm.fit_resample(X, y)

降维（PCA）：当特征存在冗余时压缩信息

from sklearn.decomposition import PCA
pca = PCA(n_components=0.95)  # 保留 95% 方差
X_pca = pca.fit_transform(X)

类别不平衡时：
准确率指标会欺骗你，改用 F1-score 或 AUC
过采样可能引发过拟合，建议配合交叉验证
内存不足时：
使用 chunksize 参数分批读取 CSV
优先处理高基数特征（如文本类）
线上服务时：
持久化 scaler 对象确保一致性
建立特征版本控制机制

# 数据加载与清洗
import pandas as pd
df = pd.read_csv('raw_data.csv', chunksize=5000)  # 分批读取

# 特征工程管道
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder

num_pipe = Pipeline([('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

cat_pipe = Pipeline([('encoder', OneHotEncoder(handle_unknown='ignore'))
])

# 可视化对比
import matplotlib.pyplot as plt
plt.figure(figsize=(12,6))
plt.subplot(1,2,1)
plt.hist(df['age'], bins=30)
plt.title('Before Scaling')

plt.subplot(1,2,2)
plt.hist(num_pipe.fit_transform(df[['age']]), bins=30)
plt.title('After Scaling')