AI数据挖掘实战：从零构建你的第一个数据挖掘项目

1次阅读

共计 1990 个字符，预计需要花费 5 分钟才能阅读完成。

刚接触数据挖掘 (AI Data Mining) 时，最常遇到三个 ” 拦路虎 ”：

数据预处理(Data Preprocessing)：直接套用教程代码，忽略业务场景对缺失值处理的特殊要求
特征工程(Feature Engineering)：盲目使用 PCA 降维，却不检查方差解释率(Variance Explained Ratio)
模型调参(Model Tuning)：过度追求复杂算法，忽视基础特征的质量

工具	适用场景	内存效率	学习曲线
Pandas	单机中小数据集(GB 级以下)	高	低
PySpark	分布式大数据(TB 级以上)	中	陡峭

统一的 API 设计：所有算法都遵循 fit/predict 范式
丰富的内置算法：包含从线性回归到 XGBoost 的完整模型库
完善的文档：每个参数都有详细说明和示例

# 读取 CSV 数据
import pandas as pd
df = pd.read_csv('user_behavior.csv')

# 处理缺失值(Missing Value)
df['age'] = df['age'].fillna(df['age'].median())  # 数值型用中位数填补
df['gender'] = df['gender'].fillna('unknown')    # 分类型用特殊标记

# 处理异常值(Outlier)
q1, q3 = df['purchase_amount'].quantile([0.25, 0.75])
iqr = q3 - q1
df = df[~((df['purchase_amount'] < q1 - 1.5*iqr) | 
    (df['purchase_amount'] > q3 + 1.5*iqr)
)]

from sklearn.decomposition import PCA

# 先进行标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(df[numeric_cols])

# PCA 降维(保留 95% 方差)
pca = PCA(n_components=0.95, random_state=42)
X_pca = pca.fit_transform(X_scaled)
print(f"原始维度: {len(numeric_cols)}")
print(f"降维后: {X_pca.shape[1]}")

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

# 初始化模型
model = RandomForestClassifier(
    n_estimators=100,
    max_depth=5,
    random_state=42
)

# 5 折交叉验证
cv_scores = cross_val_score(
    model, 
    X_pca, 
    y=df['is_churn'], 
    cv=5,
    scoring='roc_auc'
)
print(f"AUC 均值: {cv_scores.mean():.4f}")

# 原始连续特征内存占用: 38.2MB
df['age'].memory_usage(deep=True)

# 等宽分桶
bins = [0, 18, 25, 35, 50, 100]
df['age_bin'] = pd.cut(df['age'], bins)

# 分桶后内存: 12.1MB (减少 68%)