2024年泰迪杯数据挖掘挑战赛新手入门指南：从数据预处理到模型构建全流程解析

1次阅读

共计 2506 个字符，预计需要花费 7 分钟才能阅读完成。

数据挖掘竞赛是检验数据分析能力的实战平台，2024 年第 12 届泰迪杯具有以下特点：
– 面向高校学生的公益性赛事
– 赛题通常来自真实行业场景
– 注重模型的可解释性和创新性
– 提供完整数据集和明确评估指标

典型竞赛流程为：数据理解 → 数据预处理 → 特征工程 → 模型构建 → 结果提交。下面我们分阶段详解关键技术和避坑要点。

import pandas as pd
from sklearn.impute import SimpleImputer, KNNImputer

# 示例数据
data = pd.DataFrame({'A': [1, 2, None, 4], 'B': ['X', None, 'Z', 'W']})

# 方法 1：直接删除
clean_data = data.dropna()  # 适用于缺失量 <5% 的情况

# 方法 2：均值 / 众数填充
num_imputer = SimpleImputer(strategy='mean')
data['A'] = num_imputer.fit_transform(data[['A']])

cat_imputer = SimpleImputer(strategy='most_frequent')
data['B'] = cat_imputer.fit_transform(data[['B']])

# 方法 3：KNN 预测填充（适合变量间存在相关性）knn_imputer = KNNImputer(n_neighbors=2)
data['A'] = knn_imputer.fit_transform(data[['A']])

from scipy import stats
import numpy as np

# IQR 方法（鲁棒性较好）Q1 = data['A'].quantile(0.25)
Q3 = data['A'].quantile(0.75)
IQR = Q3 - Q1
outliers = data[(data['A'] < (Q1 - 1.5*IQR)) | (data['A'] > (Q3 + 1.5*IQR))]

# Z-score 方法（假设数据服从正态分布）z_scores = stats.zscore(data['A'])
abs_z_scores = np.abs(z_scores)
outliers = data[(abs_z_scores > 3)]  # 阈值通常取 2.5-3

标准化（StandardScaler）：适合存在异常值或算法假设数据服从高斯分布（如 SVM、线性回归）
归一化（MinMaxScaler）：适合神经网络等要求输入在固定范围的情况
鲁棒缩放（RobustScaler）：适合存在显著异常值的数据集

from sklearn.feature_selection import VarianceThreshold, SelectKBest, chi2

# 低方差过滤（删除方差 <0.1 的特征）selector = VarianceThreshold(threshold=0.1)
selected_features = selector.fit_transform(X)

# 卡方检验（适用于分类问题）chi2_selector = SelectKBest(chi2, k=5)
X_new = chi2_selector.fit_transform(X, y)

时间特征 ：提取周几、是否节假日等
组合特征 ：数值特征的加减乘除（如价格 / 面积）
统计特征 ：滑动窗口的均值 / 标准差
文本特征 ：TF-IDF、词向量

方法	适用场景	注意事项
One-Hot Encoding	类别数量 <10，且无序	会增加特征维度
Label Encoding	有序类别（如学历等级）	可能引入虚假的大小关系
Target Encoding	高基数类别	需防范数据泄露

决策树 ：可解释性强，适合特征存在交互作用的情况
随机森林 ：默认表现稳定，抗过拟合能力强
XGBoost/LightGBM：竞赛常用，支持缺失值处理
神经网络 ：适合海量数据，但需要调参经验

from sklearn.model_selection import GridSearchCV
from xgboost import XGBClassifier

# 定义参数网格
param_grid = {'max_depth': [3, 5, 7],
    'learning_rate': [0.01, 0.1],
    'n_estimators': [100, 200]
}

# 网格搜索（适合小参数空间）model = XGBClassifier()
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 随机搜索（适合大参数空间）from sklearn.model_selection import RandomizedSearchCV
random_search = RandomizedSearchCV(model, param_grid, n_iter=10, cv=5)