Bishop模式识别与机器学习：高维数据分类实战与模型优化

1次阅读

共计 2776 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习领域，高维数据分类一直是个令人头疼的问题。随着特征数量的增加，我们会遇到所谓的 ” 维度灾难 ”（Curse of Dimensionality）——数据变得异常稀疏，模型性能下降，计算成本飙升。本文将基于 Bishop 的经典教材，分享我在处理这类问题时的实战经验和优化技巧。

维度灾难：当特征维度增加时，数据点之间的距离趋于相等，这使得基于距离的算法（如 KNN）几乎失效。数学上可以表示为：
$$\lim_{d \to \infty} \frac{\text{dist}{\max} – \text{dist} \to 0$$}}{\text{dist}_{\min}
样本稀疏性：高维空间中，数据分布极其稀疏。例如在 100 维单位超立方体中，即使有百万样本，每个维度区间平均只有 1.01 个点。
计算复杂度：很多算法的时间复杂度随维度呈指数增长，如朴素贝叶斯的 $O(2^d)$。

在 MNIST 和 CIFAR-10 数据集上，我们测试了 Bishop 推荐的三种经典方法：

RBF 网络（径向基函数网络）：
优点：局部逼近能力强，训练速度快
缺点：需要谨慎选择中心点和带宽参数
MNIST 准确率：~96%
支持向量机（SVM）：
优点：最大化分类间隔，理论保证好
缺点：内存消耗大（$O(n^2)$）
CIFAR-10 准确率：~80%
高斯过程（Gaussian Process）：
优点：提供概率输出，小数据表现优异
缺点：立方时间复杂度的计算成本
MNIST 准确率：~94%

from sklearn.kernel_approximation import RBFSampler
from sklearn.model_selection import GridSearchCV

# 自动选择最优带宽参数
gamma_range = np.logspace(-6, -1, 10)
rbf_feature = RBFSampler(random_state=42)
params = {'gamma': gamma_range}

grid = GridSearchCV(estimator=rbf_feature, param_grid=params, cv=3)
grid.fit(X_train)
best_gamma = grid.best_params_['gamma']

# 应用最优参数
rbf_features = RBFSampler(
    gamma=best_gamma, 
    n_components=1000,  # 降维后的特征数
    random_state=42
)
X_train_rbf = rbf_features.fit_transform(X_train)

from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# 构建训练 pipeline
model = make_pipeline(StandardScaler(),
    LogisticRegression(
        penalty='l2',
        C=0.1,  # 正则化强度的倒数
        max_iter=1000,
        random_state=42
    )
)

# 绘制学习曲线
from sklearn.model_selection import learning_curve
train_sizes, train_scores, test_scores = learning_curve(model, X_train_rbf, y_train, cv=5)

plt.plot(train_sizes, np.mean(train_scores, axis=1), label='训练得分')
plt.plot(train_sizes, np.mean(test_scores, axis=1), label='验证得分')
plt.xlabel('训练样本数')
plt.ylabel('准确率')
plt.legend()

批处理（Batch Learning）：
适合小规模数据（<100GB）
实现简单，可并行化
内存需求：$O(n \times d)$
在线学习（Online Learning）：
适合数据流场景
内存需求恒定 $O(d)$
但可能收敛到次优解

使用 SHAP 值分析特征重要性：

import shap

# 创建解释器
explainer = shap.LinearExplainer(model.named_steps['logisticregression'], X_train_rbf)
shap_values = explainer.shap_values(X_test_rbf[:100])

# 可视化
shap.summary_plot(shap_values, X_test_rbf[:100], feature_names=rbf_feature.get_feature_names_out())

特征标准化：
错误做法：在全数据集上计算均值和方差
正确做法：仅用训练集统计量转换测试集
缺失值处理：
数值特征：用同特征的训练集均值填充
类别特征：单独作为一个类别

典型错误：

# 错误示范 - 先标准化再划分数据集
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # 泄露了测试集信息
X_train, X_test = train_test_split(X_scaled)

正确做法：

X_train, X_test = train_test_split(X)
scaler = StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

我在 Colab 上准备了一个交互式笔记本，邀请大家尝试：