机器学习中的维数灾难与过拟合：正确理解与降维技术实战

1次阅读

没有评论

共计 1822 个字符，预计需要花费 5 分钟才能阅读完成。

维数灾难 (Curse of Dimensionality) 是指在处理高维数据时遇到的多种问题。从数学角度来看，随着维度的增加，数据点之间的距离会趋于相等，导致距离度量失效。具体表现为：

在 d 维空间中，数据点间的欧式距离公式为：$D(x,y)=\sqrt{\sum_{i=1}^d(x_i-y_i)^2}$
当 d→∞时，所有点对的距离都趋近于同一个值，难以区分

常见误区认为 ” 过拟合一定是维数灾难造成的 ”（选项 a 的错误）：

过拟合是模型复杂度过高导致在训练集上表现好但泛化能力差
维数灾难是高维空间固有属性，不直接导致过拟合
高维数据可能加剧过拟合，但不是唯一原因

数据稀疏性：样本在空间中的密度指数级下降
距离度量失效：无法有效区分近邻和远邻
计算复杂度增加：存储和计算成本急剧上升
可视化困难：超过 3 维难以直观展示

原理：线性变换，寻找最大方差方向
复杂度：$O(min(n^3,d^3))$
优点：计算效率高，可解释性强
缺点：只能捕捉线性关系

原理：基于概率保持局部相似性
复杂度：$O(n^2)$
优点：擅长可视化，保持局部结构
缺点：计算量大，不适合大数据集

原理：基于拓扑理论保持全局和局部结构
复杂度：$O(n^{1.14})$
优点：计算效率高于 t -SNE
缺点：参数敏感

# 生成高维数据
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=50, n_informative=10, random_state=42)

# 数据标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# PCA 降维
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# 可视化比较
import matplotlib.pyplot as plt
plt.figure(figsize=(12,5))
plt.subplot(121)
plt.scatter(X_pca[:,0], X_pca[:,1], c=y)
plt.title('PCA Result')

# 分类器性能比较
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

# 原始高维数据
svc = SVC(kernel='rbf')
orig_scores = cross_val_score(svc, X_scaled, y, cv=5)

# 降维后数据
pca_scores = cross_val_score(svc, X_pca, y, cv=5)

print(f"Original accuracy: {orig_scores.mean():.3f}")
print(f"PCA accuracy: {pca_scores.mean():.3f}")