2026泰迪杯数据挖掘B题实战：基于特征工程与集成学习的解决方案

1次阅读

共计 1553 个字符，预计需要花费 4 分钟才能阅读完成。

2026 泰迪杯数据挖掘 B 题聚焦于一个典型的时间序列预测问题，要求参赛者根据历史数据预测未来某段时间内的关键指标变化。原始数据包含多种维度的记录，如时间戳、分类变量、连续型数值等，且存在明显的周期性特征和部分稀疏字段。预测目标为多元输出，需要同时考虑精度和计算效率。

分布分析 ：通过 seaborn 的 pairplot 发现，数值型字段存在右偏分布，后续考虑对数变换
缺失检测 ：使用 missingno 矩阵可视化，发现 3 个字段缺失率超过 30%，采用标记变量 + 中位数填充策略
异常处理 ：基于 3σ 原则识别离群点，结合业务逻辑判断是否保留
周期性验证 ：通过 autocorrelation_plot 确认存在 7 天和 30 天的显著周期

原始字段的统计量（均值、标准差、分位数）
时间维度拆解（小时、星期、是否节假日）

滑动窗口统计（过去 3 /7/30 天的均值、方差）
同比环比变化率
历史同期差分值

分类变量与数值变量的分组统计
特征交互（加减乘除组合）
目标编码（针对高基数类别）

模型	验证集 MAE	训练时间	内存占用
XGBoost	12.45	8min	3.2GB
LightGBM	12.31	5min	2.1GB
CatBoost	12.67	15min	4.0GB

第一阶段 ：用 LightGBM 快速筛选特征重要性 Top50
第二阶段 ：XGBoost 精细训练重要特征
加权融合 ：按 6:4 比例加权预测结果

# 特征管道示例
from sklearn.pipeline import Pipeline

feat_pipeline = Pipeline([('imputer', CustomImputer(strategy='mark+median')),
    ('scaler', RobustScaler()),
    ('feature_selector', SelectKBest(score_func=f_regression, k=50))
])

# 模型训练核心代码
lgb_params = {
    'learning_rate': 0.05,
    'max_depth': 7,
    'n_estimators': 2000,
    'early_stopping_rounds': 50
}

def train_model(X, y):
    oof_pred = np.zeros(len(X))
    kf = KFold(n_splits=5)

    for fold, (train_idx, val_idx) in enumerate(kf.split(X)):
        X_train, y_train = X.iloc[train_idx], y.iloc[train_idx]
        X_val = X.iloc[val_idx]

        model = LGBMRegressor(**lgb_params)
        model.fit(X_train, y_train,
                 eval_set=[(X_val, y.iloc[val_idx])],
                 verbose=100)

        oof_pred[val_idx] = model.predict(X_val)
    return oof_pred