共计 2622 个字符，预计需要花费 7 分钟才能阅读完成。

背景与痛点分析

参加 2023 年泰迪杯数据挖掘挑战赛时，数据集往往包含以下典型问题：

• 混合数据类型 ：同一个数据集中可能包含数值型、类别型、文本型甚至时间序列数据，需要针对不同类型设计差异化的预处理策略
• 缺失值模式复杂 ：不仅有常规的随机缺失（MCAR），还可能存在与目标变量相关的非随机缺失（MNAR）
• 内存管理挑战 ：原始数据集加载后经常超出单机内存容量，特别是包含文本特征时
• 时间序列噪声 ：传感器数据或用户行为日志中普遍存在采集误差和异常波动

技术实现方案

内存优化技巧

通过 Pandas 的 category 类型可显著减少内存占用，特别是对于低基数字符串列：

# 原始内存占用
raw_mem = df.memory_usage(deep=True).sum() / 1024**2

# 转换低基数列为 category
to_convert = [col for col in df.columns 
             if df[col].nunique() / len(df) < 0.5 and df[col].dtype == 'object']
df[to_convert] = df[to_convert].astype('category')

# 优化后内存占用
opt_mem = df.memory_usage(deep=True).sum() / 1024**2
print(f'内存减少: {raw_mem-opt_mem:.2f}MB ({1-opt_mem/raw_mem:.1%})')

自动化预处理流水线

使用 Sklearn 的 ColumnTransformer 构建类型感知的预处理流程：

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder, StandardScaler

# 定义不同特征类型的处理器
num_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

cat_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

# 构建组合处理器
preprocessor = ColumnTransformer(
    transformers=[('num', num_transformer, numerical_cols),
        ('cat', cat_transformer, categorical_cols)
    ],
    remainder='drop'  # 或 passthrough 保留其他列
)

自定义特征生成器

针对具体赛题设计领域特定的特征：

from sklearn.base import BaseEstimator, TransformerMixin

class TimeWindowFeatures(BaseEstimator, TransformerMixin):
    """生成时间窗口统计特征"""
    def __init__(self, time_col, value_col, windows=[24, 72]):
        self.time_col = time_col
        self.value_col = value_col
        self.windows = windows

    def fit(self, X, y=None):
        return self

    def transform(self, X):
        X = X.copy()
        for w in self.windows:
            X[f'{self.value_col}_rolling_mean_{w}'] = (X.groupby('user_id')[self.value_col]
                 .rolling(window=w, min_periods=1).mean()
                 .values
            )
        return X

性能优化实战

并行处理对比

使用 joblib 进行多线程加速：

from sklearn.model_selection import cross_val_score
from joblib import parallel_backend

# 单线程基准
%timeit -n 3 cross_val_score(model, X, y, cv=5)

# 多线程加速
with parallel_backend('threading', n_jobs=4):
    %timeit -n 3 cross_val_score(model, X, y, cv=5)

超内存数据处理

当数据超过可用内存时，Dask 是不错的选择：

import dask.dataframe as dd

ddf = dd.read_csv('large_dataset.csv', 
                 dtype={'category_col': 'category'})

ddf_grouped = ddf.groupby('key_column')[['value1', 'value2']].mean().compute()

关键避坑指南

避免数据泄露

务必在特征工程前拆分数据集：

flowchart TD
    A[原始数据] --> B[初始分割]
    B --> C[训练集]
    B --> D[测试集]
    C --> E[特征工程]
    C --> F[模型训练]
    E --> F
    D --> G[最终评估]

类别不平衡处理

根据数据特性选择合适的策略：

• 过采样 ：适用于中小数据集（如 SMOTE）
• 欠采样 ：当负样本充足时（如 RandomUnderSampler）
• 损失函数加权 ：深度学习中的 class_weight 参数
• 评估指标调整 ：优先考虑 F1-score 或 AUC-ROC

延伸思考

1. 如何量化评估每个生成特征对最终模型的贡献度？
2. 当特征维度达到百万级别时，哪些特征选择策略依然可扩展？
3. 如何设计自动化流程动态判断数值特征的离散化分箱策略？

总结

通过本文介绍的技术组合，我们在实际比赛中将特征工程时间从平均 8 小时缩短到 2 小时以内。特别推荐优先实施内存优化和自动化流水线这两项投入产出比最高的改进。对于想进一步突破的团队，建议深入研究自定义特征生成与业务场景的结合，这往往是拉开差距的关键。