2025泰迪杯数据挖掘竞赛B题新手入门指南：从数据预处理到模型构建

1次阅读

共计 2920 个字符，预计需要花费 8 分钟才能阅读完成。

2025 泰迪杯数据挖掘竞赛 B 题是一个典型的结构化数据挖掘任务，要求参赛者从给定的数据集中提取有价值的信息并构建预测模型。这类竞赛通常涉及数据清洗、特征工程、模型选择和调优等多个环节，非常考验参赛者的综合能力。

从往届比赛经验来看，B 题的数据通常具有以下特点：

包含数值型和类别型特征混合
可能存在缺失值和异常值
数据规模适中，适合在个人电脑上处理
目标变量可能是分类或回归问题

数据预处理是数据挖掘的第一步，也是最关键的一步。一个好的预处理流程可以显著提升模型的性能。

import pandas as pd

data = pd.read_csv('competition_b_data.csv')
print(data.head())  # 查看前几行数据
print(data.info())  # 查看数据类型和缺失值情况
print(data.describe())  # 查看数值特征的统计信息

处理缺失值是数据预处理中的重要环节。常用的方法包括：

删除缺失值过多的列
用均值 / 中位数填充数值特征
用众数填充类别特征
使用模型预测缺失值

# 填充数值型缺失值
data.fillna(data.mean(), inplace=True)

# 填充类别型缺失值
for col in data.select_dtypes(include='object').columns:
    data[col].fillna(data[col].mode()[0], inplace=True)

异常值会严重影响模型性能，常用的检测和处理方法包括：

箱线图识别
Z-score 方法
IQR 方法

from scipy import stats

# 使用 Z -score 方法检测异常值
z_scores = stats.zscore(data.select_dtypes(include=['int64','float64']))
abs_z_scores = np.abs(z_scores)
filtered_entries = (abs_z_scores < 3).all(axis=1)
data = data[filtered_entries]

特征工程是提升模型性能的关键步骤，好的特征可以大大简化模型的学习难度。

有序类别：使用标签编码
无序类别：使用独热编码

from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# 标签编码
le = LabelEncoder()
data['category_feature'] = le.fit_transform(data['category_feature'])

# 独热编码
data = pd.get_dummies(data, columns=['another_category_feature'])

不同尺度的特征会影响基于距离的算法，常用的缩放方法包括：

标准化（StandardScaler）
归一化（MinMaxScaler）

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
scaled_features = scaler.fit_transform(data[['feature1', 'feature2']])

不是所有特征都对模型有帮助，特征选择可以减少噪声和计算量：

基于统计检验
基于模型的特征重要性
递归特征消除（RFE）

from sklearn.feature_selection import SelectKBest, f_classif

selector = SelectKBest(f_classif, k=10)
selected_features = selector.fit_transform(data.drop('target', axis=1), data['target'])

对于结构化数据竞赛，树模型通常是首选。以下是两种流行模型的对比：

特性	XGBoost	LightGBM
训练速度	较慢	更快
内存占用	较高	较低
处理类别特征	需要编码	直接支持
调参难度	较高	较低
准确度	通常较高	相当

from xgboost import XGBClassifier
from lightgbm import LGBMClassifier

# XGBoost 模型
xgb_model = XGBClassifier(
    learning_rate=0.1,
    n_estimators=100,
    max_depth=5,
    subsample=0.8,
    colsample_bytree=0.8
)

# LightGBM 模型
lgb_model = LGBMClassifier(
    learning_rate=0.1,
    n_estimators=100,
    max_depth=5,
    subsample=0.8,
    colsample_bytree=0.8
)

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3, 5, 7],
    'learning_rate': [0.01, 0.1, 0.2],
    'n_estimators': [50, 100, 200]
}

grid_search = GridSearchCV(estimator=xgb_model, param_grid=param_grid, cv=5)
grid_search.fit(X_train, y_train)
print(grid_search.best_params_)

xgb_model = XGBClassifier(
    learning_rate=0.1,
    n_estimators=1000,
    early_stopping_rounds=50
)

xgb_model.fit(X_train, y_train, eval_set=[(X_val, y_val)], verbose=True)