BP神经网络训练数据集构建指南：从数据清洗到特征工程实战

1次阅读

共计 2331 个字符，预计需要花费 6 分钟才能阅读完成。

在 BP 神经网络的训练过程中，数据集质量直接影响模型的收敛速度和最终性能。常见问题包括：

特征尺度差异：比如年龄（0-100）和收入（0-1000000）未归一化时，梯度更新会受大数值特征主导
样本不平衡：分类任务中某些类别样本量不足（如医疗诊断中的罕见病案例）
数据噪声：包括传感器错误（异常值）、人工标注失误（标签噪声）、系统缺失（NULL 值）

直接删除：适合缺失比例 <5% 且随机分布的情况
```
df.dropna(axis=0, inplace=True)
```

统计量填充：连续特征用均值 / 中位数，离散特征用众数

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='median')
df_filled = imputer.fit_transform(df)

模型预测填充：用随机森林等算法预测缺失值（适合复杂关系数据）

3σ 原则：适用于正态分布数据（超过均值±3 倍标准差视为异常）
IQR 方法：通过四分位距检测（Q1-1.5IQR ~ Q3+1.5IQR 之外的值）

孤立森林：无监督检测高维数据异常点

from sklearn.ensemble import IsolationForest
clf = IsolationForest(contamination=0.01)
outliers = clf.fit_predict(X)

One-Hot 编码：适合类别数量 <10 的离散特征（会生成稀疏矩阵）
```
pd.get_dummies(df, columns=['city'])
```
Embedding：适合高基数类别（如用户 ID），需配合神经网络学习低维表示

当特征超过 50 维时建议 PCA 降维，保留 95% 方差：

from sklearn.decomposition import PCA
pca = PCA(n_components=0.95)
X_reduced = pca.fit_transform(X)

MinMax 归一化 ：将特征缩放到[0,1] 区间，适合数值范围明确的情况

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)

Z-Score 标准化：使特征服从均值为 0、标准差 1 的分布，适合存在异常值的数据
Robust Scaling：用中位数和四分位数缩放，对异常值更鲁棒

生成器加载：用 yield 逐批读取 CSV 文件

def batch_loader(filename, batch_size=1000):
    for chunk in pd.read_csv(filename, chunksize=batch_size):
        yield preprocess(chunk)

内存映射：numpy.memmap 直接操作磁盘数组

SMOTE：在特征空间合成少数类样本

from imblearn.over_sampling import SMOTE
X_res, y_res = SMOTE().fit_resample(X, y)

ADASYN：根据样本密度自适应生成数据（对难分类样本更友好）

特征漂移监控：每周计算 KL 散度对比训练集与线上数据分布
时间敏感分割：按时间戳划分训练 / 验证集（避免未来信息泄露）
标签噪声过滤：用交叉验证预测结果剔除置信度低的样本

# 完整预处理 Pipeline 示例
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer

numeric_features = ['age', 'income']
categorical_features = ['gender', 'education']

preprocessor = ColumnTransformer(
    transformers=[
        ('num', Pipeline([('imputer', SimpleImputer(strategy='median')),
            ('scaler', StandardScaler())
        ]), numeric_features),
        ('cat', Pipeline([('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
            ('onehot', OneHotEncoder(handle_unknown='ignore'))
        ]), categorical_features)
    ])

# 可视化特征重要性
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()
model.fit(X_train, y_train)

plt.figure(figsize=(10,6))
plt.barh(X.columns, model.feature_importances_)
plt.title('Feature Importance Ranking')
plt.show()

构建高质量数据集就像准备食材——新鲜度（时效性）、处理方式（特征工程）、搭配比例（样本平衡）共同决定了最终模型的味道。建议在实际项目中建立数据质量看板，持续监控关键指标的变化。

正文完