深入解析CART决策树在西瓜数据集上的实现与应用

1次阅读

没有评论

共计 2115 个字符，预计需要花费 6 分钟才能阅读完成。

决策树算法因其直观易懂、解释性强等特点，广泛应用于分类和回归问题。在实际项目中，我们常常面临以下痛点：

数据特征复杂，需要手动选择重要特征
模型解释性要求高，黑箱模型难以满足业务需求
计算资源有限，需要高效的算法实现

CART(Classification And Regression Tree)算法作为决策树家族的重要成员，相比 ID3 和 C4.5 具有以下优势：

支持连续值和离散值特征处理
既能处理分类问题也能处理回归问题
采用基尼系数作为分裂标准，计算效率更高
通过代价复杂度剪枝有效防止过拟合

主流决策树算法对比：

算法	分裂标准	支持特征类型	剪枝方式	适用问题
ID3	信息增益	仅离散特征	无	分类
C4.5	信息增益比	离散 + 连续	悲观剪枝	分类
CART	基尼系数	离散 + 连续	代价复杂度	分类 + 回归

实际项目选型建议：

当特征均为离散值时，ID3 简单高效
需要处理连续特征时，优先考虑 C4.5 或 CART
既要做分类也要做回归时，CART 是唯一选择
对模型解释性要求极高的场景，CART 的二叉树结构更易理解

CART 算法使用基尼系数 (Gini Index) 衡量节点的不纯度：

def gini_index(groups, classes):
    n_instances = sum([len(group) for group in groups])
    gini = 0.0
    for group in groups:
        size = len(group)
        if size == 0:
            continue
        score = 0.0
        for class_val in classes:
            p = [row[-1] for row in group].count(class_val) / size
            score += p * p
        gini += (1.0 - score) * (size / n_instances)
    return gini

CART 采用代价复杂度剪枝(CCP)，通过以下步骤实现：

从完整树开始，计算每个节点的 α 值
选择 α 值最小的节点进行剪枝
重复上述过程直到只剩根节点
通过交叉验证选择最优子树

import pandas as pd
from sklearn.preprocessing import LabelEncoder

# 加载西瓜数据集
data = pd.read_csv('watermelon.csv')

# 特征编码
le = LabelEncoder()
cols = ['色泽','根蒂','敲声','纹理','脐部','触感']
for col in cols:
    data[col] = le.fit_transform(data[col])

# 划分特征和标签
X = data.iloc[:, :-1]
y = data.iloc[:, -1]

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建 CART 分类器
clf = DecisionTreeClassifier(criterion='gini', max_depth=3)

# 训练模型
clf.fit(X_train, y_train)

# 预测并评估
preds = clf.predict(X_test)
print(f"模型准确率: {accuracy_score(y_test, preds):.2f}")

我们在不同规模数据集上测试 CART 表现：