机器学习工作流程可视化：从理论到实践的全链路解析

1次阅读

共计 2057 个字符，预计需要花费 6 分钟才能阅读完成。

刚接触机器学习时，我总被各种专业术语搞得晕头转向——数据清洗、特征工程、模型训练听起来就像黑箱操作。直到把整个流程画成图表，才发现这些抽象概念突然有了筋骨。相比纯文字描述，图形化表达能清晰展现：

模块间的依赖关系（比如特征缩放必须在模型训练之前）
决策分支（如何处理缺失值？何时停止训练？）
反馈循环（模型评估结果如何指导参数调整）

用菱形节点表示决策点，矩形节点表示操作步骤：

flowchart TD
    A[原始数据集] --> B{是否有缺失值？}
    B -->| 是 | C[填充 / 删除缺失值]
    B -->| 否 | D[特征工程]
    C --> D
    D --> E[数据集拆分]

用不同颜色标记操作类型：

蓝色节点：原始特征（如 ”age”、”income”）
绿色节点：派生特征（如 ”income/age” 比值）
红色节点：筛选后的特征集合

# 使用 sklearn 的 GridSearchCV 示例
from sklearn.model_selection import GridSearchCV

params = {'max_depth': [3, 5, 7],  # 决策树深度候选值
    'min_samples_split': [2, 5, 10]  # 分裂最小样本数
}

grid_search = GridSearchCV(estimator=DecisionTreeClassifier(),
                         param_grid=params,
                         cv=5)  # 5 折交叉验证

用 Matplotlib 动态展示训练过程：

plt.plot(history.history['loss'], label='Training Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

from sklearn.metrics import ConfusionMatrixDisplay

ConfusionMatrixDisplay.from_predictions(y_true, y_pred,
                                      cmap='Blues',
                                      display_labels=['Cat', 'Dog'])

from sklearn.metrics import RocCurveDisplay

RocCurveDisplay.from_predictions(y_true, y_pred_proba)
plt.plot([0, 1], [0, 1], 'k--')  # 添加对角线参考线

使用 Graphviz 绘制端到端流程图：

from graphviz import Digraph

# 创建有向图
ml_flow = Digraph('Machine_Learning_Workflow',
                 format='png',
                 graph_attr={'rankdir': 'LR'})  # 从左到右布局

# 添加节点
ml_flow.node('A', 'Raw Data', shape='cylinder')
ml_flow.node('B', 'Data Preprocessing', shape='box')
ml_flow.node('C', 'Feature Engineering', shape='box')
ml_flow.node('D', 'Model Training', shape='ellipse')
ml_flow.node('E', 'Evaluation', shape='doublecircle')

# 定义连接关系
ml_flow.edges(['AB', 'BC', 'CD', 'DE'])

# 添加子流程详情
with ml_flow.subgraph(name='Preprocessing') as prep:
    prep.node('B1', 'Handle Missing Values')
    prep.node('B2', 'Normalization')
    prep.edges(['B1B2'])

# 渲染图像
ml_flow.render(filename='ml_workflow', cleanup=True)