CKD数据集处理实战：如何高效清洗与特征工程

共计 2179 个字符，预计需要花费 6 分钟才能阅读完成。

背景痛点：医疗数据的典型难题

医疗数据清洗一直是数据工程师的噩梦，尤其是像 CKD（慢性肾病）这样的临床数据集。根据我的实战经验，这类数据通常存在三个致命伤：

• 非结构化字段泛滥 ：医生填写的备注字段里藏着 ”Cr 1.8（偏高）” 这样的混合文本，提取数值需要正则表达式和人工规则双管齐下
• 检测指标单位混乱 ：同一个医院的肌酐值用 μmol/L，另一家却用 mg/dL，单位换算时稍不注意就会差出 10 倍
• 样本分布极度不均衡 ：健康人群样本可能占 80%，而晚期肾病患者只有 5%，直接建模会导致模型对少数类视而不见

最近处理的一份 CKD 数据集就遇到典型场景：250 条记录中，关键指标 eGFR（肾小球滤过率）有 12% 缺失，血压指标里混入了 ”120/80mmHg” 和 ”140/90″ 两种格式。

技术选型：为什么放弃 OpenRefine

刚开始我用 OpenRefine 处理测试集，发现三个痛点后立即转向 Python 技术栈：

• 无法复用 ：在 GUI 里设计的清洗规则难以版本化管理，更别说 CI/CD 集成
• 性能瓶颈 ：超过 5 万条记录时，交互式操作延迟明显
• 功能局限 ：缺失值插补只能用均值 / 中位数，无法实现 KNN 等高级方法

相比之下，Python 的 Pandas+Scikit-learn 组合提供了完整解决方案：

# 类型注解示例：定义数据处理函数
def clean_blood_pressure(bp: pd.Series) -> pd.DataFrame:
    """将"120/80"格式的血压拆分为收缩压和舒张压"""
    return bp.str.extract(r"(\d+)\s*[/]\s*(\d+)").astype(float)

核心实现：从原始数据到建模就绪

1. 实验室指标智能分箱

直接使用原始检验数值会引入噪声，等宽分箱又容易造成信息损失。这里采用基于分位数的自适应分箱：

from pandas import qcut

def discretize_lab_values(df: pd.DataFrame) -> pd.DataFrame:
    """将连续检验指标转换为有序分类变量"""
    columns = ["serum_creatinine", "blood_urea"]
    for col in columns:
        df[f"{col}_level"] = qcut(df[col], 
            q=5,
            duplicates="drop",  # 处理重复值
            labels=["low", "medium_low", "medium", "medium_high", "high"]
        )
    return df

2. 缺失值处理的医学考量

血清肌酐值缺失不能用简单均值填充，因为其分布通常右偏。这里用 KNNImputer 考虑其他指标的相关性：

from sklearn.impute import KNNImputer

# 构建包含相关特征的子集
impute_features = ["age", "weight", "serum_sodium", "hemoglobin"]

# 调优后的 KNN 参数
imputer = KNNImputer(
    n_neighbors=5,  # 通过交叉验证确定
    weights="distance"  # 更信任相似样本
)
df[impute_features] = imputer.fit_transform(df[impute_features])

3. 特征选择的双重过滤

医疗特征往往存在冗余（如血压和心血管指标高度相关），采用组合策略：

from sklearn.feature_selection import VarianceThreshold, SelectKBest, chi2

# 第一层：剔除方差过小的特征
variance_selector = VarianceThreshold(threshold=0.1) 

# 第二层：选择与目标最相关的 K 个特征
chi2_selector = SelectKBest(chi2, k=15)  

# 构建管道
pipeline = Pipeline([("variance", variance_selector),
    ("chi2", chi2_selector)
])

医疗数据特别注意事项

1. HIPAA 合规性 ：所有患者 ID 必须脱敏，可以用哈希处理而非简单删除

   df["patient_id"] = df["patient_id"].apply(lambda x: hashlib.sha256(x.encode()).hexdigest())

2. 特征泄露预防 ：绝对不能使用诊断结果衍生指标作为特征，比如用 ” 是否透析 ” 预测肾病分期就是典型泄露

3. 单位统一化 ：建立单位转换字典统一处理

   unit_conversion = {"mg/dL": 1, "μmol/L": 0.0113}
   df["creatinine"] = df["creatinine"] * df["unit"].map(unit_conversion)

效果验证：AUC 提升 23%

使用相同的 LightGBM 参数对比处理前后的效果：

关键提升来自：
– 分箱处理让模型捕捉到指标的非线性关系
– KNN 插补保留了生理指标间的相关性
– 特征选择去除了 30+ 个冗余或噪声特征

延伸思考

当面对包含多次体检记录的时序数据时，如何处理指标变化趋势才能最大化信息价值？是计算斜率等统计量，还是使用 LSTM 等时序模型直接处理原始序列？这个开放问题留给大家探讨。