数据挖掘与机器学习理论基础：从零构建认知框架的实战指南

1次阅读

共计 2094 个字符，预计需要花费 6 分钟才能阅读完成。

数据挖掘 2.3 理论体系可以抽象为有向无环图(DAG)，核心模块依赖关系如下：

graph LR
A[数据预处理] --> B[特征工程]
B --> C[模型训练]
C --> D[模型评估]
D --> E[部署优化]

数据预处理：包括缺失值处理（Missing Value）、异常值检测（Outlier Detection）等
特征工程：含特征选择（Feature Selection）、特征转换（Feature Transformation）等
模型训练：涉及监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）

信息熵（Entropy）是衡量系统不确定性的重要指标：

$$H(X) = -\sum_{i=1}^n p(x_i) \log_2 p(x_i)$$

Python 实现示例：

import numpy as np

def entropy(probabilities: np.ndarray) -> float:
    """计算信息熵"""
    return -np.sum(probabilities * np.log2(probabilities))

# 示例：公平硬币抛掷的熵
prob = np.array([0.5, 0.5])
print(f"Entropy: {entropy(prob):.4f} bits")  # 输出 1.0

通过 Matplotlib 实现梯度下降（Gradient Descent）过程展示：

import matplotlib.pyplot as plt

def gradient_descent(
    f: Callable, df: Callable, 
    x0: float, lr: float = 0.1, 
    epochs: int = 50
) -> list:
    """梯度下降过程记录"""
    trajectory = []
    x = x0
    for _ in range(epochs):
        x -= lr * df(x)
        trajectory.append((x, f(x)))
    return trajectory

# 绘制优化路径
plt.plot(*zip(*traj), 'ro-', label='Optimization Path')
plt.contour(X, Y, Z, levels=20)
plt.legend()

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.preprocessing import (
    StandardScaler, 
    KBinsDiscretizer,
    MinMaxScaler
)

# 构建特征处理流水线
feature_pipeline = Pipeline([
    # 缺失值处理策略对比
    ('imputer', SimpleImputer(strategy='median')),  # 中位数填充
    # ('imputer', KNNImputer(n_neighbors=5)),  # KNN 填充
    # ('imputer', SimpleImputer(strategy='constant', fill_value=-1)),  # 常量填充

    # 特征离散化
    ('discretizer', KBinsDiscretizer(
        n_bins=5, 
        encode='ordinal', 
        strategy='quantile'
    )),

    # 特征缩放（标准化适用于高斯分布，归一化适用于有界特征）('scaler', StandardScaler()),  # 标准化
    # ('scaler', MinMaxScaler())    # 归一化
])