sklearn手写数字识别实战：KNN与逻辑回归多模型对比与选型指南

1次阅读

没有评论

共计 1939 个字符，预计需要花费 5 分钟才能阅读完成。

手写数字识别是机器学习入门的经典案例，MNIST 数据集包含 70,000 张 28×28 像素的 0 - 9 手写数字图片，具有以下特点：

问题复杂度适中：比鸢尾花分类难，比图像分割简单
数据干净规整：已做好标注和尺寸统一
教学意义明确：能直观展示不同算法的特性差异

初学者常见误区包括：

盲目追求高准确率而忽略计算成本
忽视数据预处理的重要性
不理解超参数对模型的影响机制

工作原理：” 物以类聚 ” 思想，通过计算测试样本与训练集的距离进行分类
时间复杂度：
训练：O(1)（仅存储数据）
预测：O(nd)（n 为样本数，d 为特征数）
关键参数：
k 值：决定邻居数量，影响模型平滑程度
距离度量：常用欧式距离 $\sqrt{\sum_{i=1}^d(x_i-y_i)^2}$

工作原理：通过 sigmoid 函数 $\sigma(z)=\frac{1}{1+e^{-z}}$ 建模概率
时间复杂度：
训练：O(nditer)（iter 为迭代次数）
预测：O(d)
关键参数：
正则化系数 C：控制过拟合
多分类策略：ovr（one-vs-rest）或 multinomial

import numpy as np
from sklearn.datasets import fetch_openml
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

# 加载 MNIST 数据（首次运行需下载）X, y = fetch_openml('mnist_784', version=1, return_X_y=True, as_frame=False)
X = X / 255.0  # 像素值归一化到[0,1]

# 使用前 10000 个样本加速演示（实际项目建议全量数据）X_sample, y_sample = X[:10000], y[:10000].astype(int)

knn_pipe = make_pipeline(StandardScaler(),  # 重要！KNN 对特征尺度敏感
    KNeighborsClassifier(n_neighbors=3, metric='euclidean')
)
knn_scores = cross_val_score(knn_pipe, X_sample, y_sample, cv=3, scoring='accuracy')
print(f"KNN 平均准确率：{knn_scores.mean():.3f}±{knn_scores.std():.3f}")

lr_pipe = make_pipeline(StandardScaler(),  # 加速收敛
    LogisticRegression(C=1.0, max_iter=500, multi_class='multinomial')
)
lr_scores = cross_val_score(lr_pipe, X_sample, y_sample, cv=3, scoring='accuracy')
print(f"逻辑回归平均准确率：{lr_scores.mean():.3f}±{lr_scores.std():.3f}")