从数学原理到代码实现：深入解析cart决策树和随机森林的核心算法

1次阅读

共计 1759 个字符，预计需要花费 5 分钟才能阅读完成。

决策树和随机森林是机器学习中最基础且强大的算法之一，广泛应用于分类和回归问题。CART（Classification and Regression Trees）是一种常用的决策树算法，而随机森林则是基于 CART 的集成学习方法。它们因其直观的解释性和良好的性能而受到初学者和专业数据科学家的青睐。

CART 决策树使用基尼系数（Gini Index）作为分裂准则。基尼系数衡量的是数据集的不纯度，定义为：

$$
Gini(p) = 1 – \sum_{i=1}^{n} p_i^2
$$

其中，$p_i$ 是第 $i$ 类在数据集中的比例。基尼系数越小，数据集的纯度越高。

另一种常用的分裂准则是信息熵（Entropy）：

$$
Entropy(p) = – \sum_{i=1}^{n} p_i \log_2 p_i
$$

熵也是衡量数据集不纯度的指标，值越小表示数据集的纯度越高。

ID3：使用信息增益作为分裂准则，只能处理离散特征，且容易过拟合。
C4.5：改进自 ID3，使用信息增益比，能处理连续特征和缺失值，但仍然容易过拟合。
CART：使用基尼系数，能处理分类和回归问题，支持连续和离散特征，且通过剪枝减少过拟合。

随机森林通过 Bagging（Bootstrap Aggregating）和特征随机选择来提高模型的泛化能力：

Bagging：从原始数据集中有放回地随机抽取多个子集，每个子集用于训练一个决策树。
特征随机选择：在每个节点分裂时，随机选择一部分特征进行分裂，减少特征间的相关性。

以下是使用 sklearn 库实现 CART 决策树和随机森林的代码示例：

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练 CART 决策树
tree = DecisionTreeClassifier(criterion='gini', max_depth=3, random_state=42)
tree.fit(X_train, y_train)
print(f"Decision Tree Accuracy: {tree.score(X_test, y_test):.2f}")

# 训练随机森林
forest = RandomForestClassifier(n_estimators=100, max_features='sqrt', random_state=42)
forest.fit(X_train, y_train)
print(f"Random Forest Accuracy: {forest.score(X_test, y_test):.2f}")