深入解析classic决策树分类：从原理到工程实践

1次阅读

共计 1839 个字符，预计需要花费 5 分钟才能阅读完成。

决策树（Decision Tree）作为机器学习中的经典算法，在分类任务中有着独特的优势。它不仅直观易懂，还不需要对特征进行复杂的缩放处理，非常适合作为入门机器学习的第一个算法。今天我们就来深入探讨 classic 决策树分类的核心原理和实际应用。

可解释性强 ：决策树的决策过程可以直观地用树状图表示，非技术人员也能理解模型的判断逻辑
无需特征缩放 ：不像 SVM 或神经网络需要对数据进行标准化 / 归一化处理
天然处理混合类型数据 ：能同时处理数值型和类别型特征
缺失值鲁棒性 ：大多数实现都有处理缺失值的机制

核心指标：信息增益（Information Gain）= 父节点熵 – 子节点熵的加权和
特点：
倾向于选择取值多的特征（可能过拟合）
只能处理分类特征
无法处理缺失值

改进点：用增益率（Gain Ratio）代替信息增益
增益率 = 信息增益 / 分裂信息（Split Information）
新增功能：
可以处理连续特征（通过二分法离散化）
支持处理缺失值
支持后剪枝

核心指标：基尼系数（Gini Index）
基尼系数越小，数据纯度越高
特点：
既可以做分类也可以做回归
二叉树结构（每个节点只有两个分支）
sklearn 中的决策树实现基于 CART

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3)

# 创建模型
# 关键参数说明：# max_depth - 树的最大深度，控制模型复杂度
# min_samples_split - 节点分裂所需最小样本数
# criterion - 分裂标准，gini 或 entropy
clf = DecisionTreeClassifier(max_depth=3, min_samples_split=2)
clf.fit(X_train, y_train)

# 评估
print("测试集准确率:", clf.score(X_test, y_test))

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(12,8))
plot_tree(clf, 
          feature_names=iris.feature_names,  
          class_names=iris.target_names,
          filled=True)
plt.show()