2025泰迪杯数据挖掘竞赛B题技术解析：从数据预处理到模型优化的全流程实战

1次阅读

共计 3068 个字符，预计需要花费 8 分钟才能阅读完成。

2025 泰迪杯数据挖掘竞赛 B 题聚焦于某垂直领域的数据预测任务（具体领域以实际赛题为准）。这类竞赛通常面临以下典型挑战：

数据质量问题 ：原始数据常包含缺失值、异常值、噪声数据，且不同特征尺度差异显著
特征稀疏性 ：部分特征维度存在高度稀疏性（如某些类别型特征取值分布极不均衡）
评估指标陷阱 ：竞赛可能采用非常规评估指标（如加权 F1-score），与常规准确率优化方向存在差异
计算效率要求 ：在有限硬件条件下需平衡模型复杂度与训练效率

缺失值处理
均值 / 中位数填充：适用于数值特征且分布较均匀时
众数填充：适合类别特征
模型预测填充：精度高但计算成本大
直接删除：当缺失比例 >60% 时考虑
异常值检测
IQR 方法：鲁棒性强，适合中等规模数据
3σ 原则：要求数据服从正态分布
孤立森林：适合高维数据但训练耗时

模型	优势	局限性	适用场景
XGBoost	特征重要性自动计算、正则化防止过拟合	对类别特征需手动编码	中小规模结构化数据
LightGBM	训练速度快、支持直接类别特征	对异常值较敏感	大规模数据
MLP	自动特征组合能力	需要大量调参、训练不稳定	高维稀疏特征

缺失值诊断

# 计算各特征缺失率
missing_ratio = df.isnull().sum() / len(df)
# 可视化缺失分布
import seaborn as sns
sns.barplot(x=missing_ratio.index, y=missing_ratio.values)

异常值处理

# 使用 IQR 方法检测异常值
Q1 = df['feature'].quantile(0.25)
Q3 = df['feature'].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df['feature'] < (Q1 - 1.5*IQR)) | 
           (df['feature'] > (Q3 + 1.5*IQR)))]

特征类型转换

# 日期特征分解
df['date'] = pd.to_datetime(df['date'])
df['day_of_week'] = df['date'].dt.dayofweek
df['is_weekend'] = df['day_of_week'].isin([5,6]).astype(int)

数据标准化

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
df[['num_feat1','num_feat2']] = scaler.fit_transform(df[['num_feat1','num_feat2']])

特征交叉 ：对重要类别特征进行组合（如地域×年龄段）
统计特征 ：滚动窗口统计（近 7 天平均值、标准差等）
目标编码 ：对高基数类别特征用目标变量均值编码

# 目标编码示例
from category_encoders import TargetEncoder
encoder = TargetEncoder()
X_train['city_encoded'] = encoder.fit_transform(X_train['city'], y_train)
X_test['city_encoded'] = encoder.transform(X_test['city'])

# 数据加载与初探
import pandas as pd
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')

# 合并数据集便于统一处理
data = pd.concat([train, test], axis=0)

# 缺失值处理
data['age'].fillna(data['age'].median(), inplace=True)
data['income'].fillna(method='ffill', inplace=True)

# 特征工程
# 1. 日期特征处理
data['register_date'] = pd.to_datetime(data['register_date'])
data['register_year'] = data['register_date'].dt.year

# 2. 目标编码
from category_encoders import TargetEncoder
encoder = TargetEncoder(cols=['occupation'])
data['occupation_encoded'] = encoder.fit_transform(data['occupation'], data['target'])

# 数据集拆分
train = data[data['target'].notnull()]
test = data[data['target'].isnull()]

# 模型训练
from lightgbm import LGBMClassifier
model = LGBMClassifier(
    n_estimators=500,
    learning_rate=0.05,
    max_depth=7,
    subsample=0.8
)
model.fit(train.drop(['target'], axis=1),
    train['target'],
    categorical_feature=['gender', 'education']
)

# 预测输出
preds = model.predict_proba(test.drop(['target'], axis=1))[:,1]

优先使用竞赛指定的评估指标作为早停（early stopping）条件

自定义加权损失函数应对样本不平衡：

def weighted_loss(y_true, y_pred):
    weight = np.where(y_true==1, 2.0, 1.0)  # 正样本权重加倍
    return np.mean(weight * (y_true - y_pred)**2)

from sklearn.model_selection import GridSearchCV

params = {'max_depth': [5,7,9],
    'min_child_weight': [1,3,5]
}

gs = GridSearchCV(estimator=LGBMClassifier(),
    param_grid=params,
    scoring='f1',
    cv=5
)
gs.fit(X_train, y_train)
print(f'Best params: {gs.best_params_}')