80年代的模式识别：从经典算法到现代应用入门指南

1次阅读

共计 2377 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习大行其道的今天，80 年代的模式识别算法可能看起来有些过时。但事实上，这些经典算法仍然有着不可替代的优势：

模型可解释性强 ：不像深度学习黑箱，KNN、决策树等算法的决策过程一目了然
低资源消耗 ：不需要 GPU，在普通笔记本电脑上就能运行
实现简单 ：算法原理直观，代码量少，适合快速原型开发
对小数据集友好 ：在数据量不足时，传统算法往往比深度学习表现更好

算法	准确率	训练速度	特征需求	适用场景
KNN	中	快 (预测慢)	需要特征缩放	小数据集，低维度
决策树	中高	快	可处理混合特征	需要可解释性的场景
朴素贝叶斯	中低	极快	特征独立假设	文本分类，高维稀疏数据

import numpy as np
from collections import Counter

class KNN:
    def __init__(self, k=3):
        self.k = k

    def fit(self, X, y):
        # 存储训练数据，KNN 是惰性学习，没有显式的训练过程
        self.X_train = X
        self.y_train = y

    def predict(self, X):
        predictions = [self._predict(x) for x in X]
        return np.array(predictions)

    def _predict(self, x):
        # 计算待预测样本与所有训练样本的距离
        distances = [np.linalg.norm(x - x_train) for x_train in self.X_train]

        # 获取距离最近的 k 个样本的索引
        k_indices = np.argsort(distances)[:self.k]

        # 获取这 k 个样本的标签
        k_nearest_labels = [self.y_train[i] for i in k_indices]

        # 投票决定预测结果
        most_common = Counter(k_nearest_labels).most_common(1)
        return most_common[0][0]

from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt

# 训练决策树
clf = DecisionTreeClassifier(max_depth=3)
clf.fit(X_train, y_train)

# 可视化特征重要性
plt.barh(range(len(clf.feature_importances_)), clf.feature_importances_)
plt.yticks(range(len(feature_names)), feature_names)
plt.xlabel('Feature Importance')
plt.show()

# 可视化决策树
plt.figure(figsize=(12,8))
plot_tree(clf, filled=True, feature_names=feature_names, class_names=class_names)
plt.show()

传统算法可以通过以下方式获得性能提升：

使用 numpy 向量化运算 ：
替代 Python 循环，提升计算效率

例如 KNN 的距离计算可以改写为：

distances = np.sqrt(np.sum((X - x_train)**2, axis=1))

利用 scipy 的 KDTree：
对 KNN 的近邻搜索进行优化
可以将 O(n) 的搜索复杂度降至 O(log n)
并行计算 ：
使用 joblib 并行化预测过程
特别适合 KNN 这种可并行化的算法

数据标准化至关重要 ：
KNN 基于距离度量，不同特征的量纲差异会严重影响结果
一定要做 MinMax 或 Standard 标准化

示例代码：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)  # 注意用相同的 scaler

过拟合问题 ：
解决方法 1：设置 max_depth 限制树深度
解决方法 2：设置 min_samples_leaf 限制叶节点最小样本数
解决方法 3：使用 ccp_alpha 进行剪枝

示例代码：

# 通过交叉验证选择最佳 ccp_alpha
path = clf.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas = path.ccp_alphas

# 为每个 alpha 训练一个决策树
clfs = []
for ccp_alpha in ccp_alphas:
    clf = DecisionTreeClassifier(ccp_alpha=ccp_alpha)
    clf.fit(X_train, y_train)
    clfs.append(clf)

根据实践经验，以下场景传统算法更有优势：