CKD数据集处理实战：如何高效清洗与特征工程

1次阅读

没有评论

共计 1988 个字符，预计需要花费 5 分钟才能阅读完成。

医疗数据集（尤其是 CKD 数据）往往存在一些特殊问题，这些问题如果处理不当会直接影响模型效果。常见痛点包括：

非结构化字段：比如医生笔记中的文本描述（’ 肾功能轻度异常 ’），需要转换为结构化数值
单位不统一：同一指标在不同医院可能使用不同单位（如肌酐值用 mg/dL 或 μmol/L）
样本不均衡：健康样本远多于患病样本（CKD 数据中晚期病例可能只占 5 -10%）
时间维度复杂：患者多次体检记录存在时间相关性，简单视为独立样本会导致数据泄露

对比常见数据清洗工具，我们的选择依据是：

Pandas vs OpenRefine：
OpenRefine 适合无编程基础的快速数据探查，但无法实现自动化流水线
Pandas 虽然学习曲线陡峭，但能完美融入后续建模流程（特别是与 scikit-learn 配合）
关键优势：
可复现性：所有处理步骤都能通过代码精确复现
扩展性：自定义函数可以封装成可重用的处理模块
性能：NumPy 底层优化使大数据集处理效率更高

对于连续型体检指标（如尿蛋白含量），我们使用分箱处理降低噪声影响：

from pandas import qcut

def discretize_lab_values(df: pd.DataFrame, col: str, q: int = 5) -> pd.Series:
    """
    将连续指标分箱为 q 个等频区间
    自动处理无穷值并返回类别标签
    """
    return qcut(df[col], 
        q=q,
        duplicates='drop',  # 避免重复边界值报错
        labels=[f'{col}_bin{i}' for i in range(q)]
    )

医疗数据常见 5 -20% 的缺失率，传统均值填充会扭曲分布。我们采用 KNN 插补：

from sklearn.impute import KNNImputer

imputer = KNNImputer(
    n_neighbors=5,  # 通过交叉验证确定最优 K 值
    weights='distance',  # 近邻权重与距离成反比
    add_indicator=True  # 保留缺失标记作为新特征
)

# 在训练集上拟合后 transform 全量数据
X_imputed = imputer.fit_transform(X_train)

先剔除低方差特征，再用卡方检验选择有统计显著性的特征：

from sklearn.feature_selection import VarianceThreshold, SelectKBest, chi2

# 第一阶段：方差阈值过滤（移除 <0.01 方差的特征）var_selector = VarianceThreshold(threshold=0.01)

# 第二阶段：选择卡方检验得分最高的 20 个特征
chi_selector = SelectKBest(chi2, k=20)

# 构建管道
pipeline = Pipeline([('variance_selector', var_selector),
    ('chi_selector', chi_selector)
])

将所有步骤封装为可复用的 Pipeline：

from sklearn.pipeline import make_pipeline

preprocessor = make_pipeline(ImputerWrapper(KNNImputer()),  # 自定义包装器处理列名保持
    Discretizer(bins=5),           # 分箱转换器
    FeatureSelector()              # 组合特征选择)

# 使用方式与 scikit-learn 完全一致
X_processed = preprocessor.fit_transform(X, y)