sklearn手写数字识别实战：KNN与逻辑回归多模型对比与性能优化

1次阅读

共计 1826 个字符，预计需要花费 5 分钟才能阅读完成。

手写数字识别是 OCR 领域最经典的任务之一，在银行支票处理、快递单号识别等场景广泛应用。开发者常面临模型选择的困境：

KNN 简单直观但预测速度慢
逻辑回归训练快但对非线性特征敏感
准确率与计算效率难以兼得

KNN（K 最近邻）
基于距离度量（默认欧式距离）
没有显式的训练过程，惰性学习
决策边界不规则
逻辑回归
通过 sigmoid 函数建模概率
线性决策边界（除非使用核方法）
需要显式训练权重

指标	KNN	逻辑回归
训练速度	O(1)	O(n_samples×n_features)
预测延迟	O(n_samples)	O(n_features)
内存占用	存储全部训练数据	仅存储模型参数

from sklearn.datasets import fetch_openml
from sklearn.preprocessing import StandardScaler

# 加载 MNIST 数据（使用较快的 openml 版本）mnist = fetch_openml('mnist_784', as_frame=False)
X, y = mnist.data, mnist.target

# 标准化像素值（重要！）scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

KNN Pipeline

from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import Pipeline

knn_pipe = Pipeline([('scaler', StandardScaler()),
    ('knn', KNeighborsClassifier(n_jobs=-1))  # 使用所有 CPU 核心
])

逻辑回归 Pipeline

from sklearn.linear_model import LogisticRegression

lr_pipe = Pipeline([('scaler', StandardScaler()),
    ('lr', LogisticRegression(max_iter=1000, n_jobs=-1))
])

from sklearn.model_selection import GridSearchCV

# KNN 参数搜索
knn_params = {'knn__n_neighbors': [3, 5, 7],
    'knn__weights': ['uniform', 'distance']
}
knn_gs = GridSearchCV(knn_pipe, knn_params, cv=3, n_jobs=-1)

# 逻辑回归参数搜索
lr_params = {'lr__C': [0.1, 1, 10]}
lr_gs = GridSearchCV(lr_pipe, lr_params, cv=3, n_jobs=-1)

from sklearn.metrics import ConfusionMatrixDisplay
ConfusionMatrixDisplay.from_estimator(
    knn_gs.best_estimator_, 
    X_test, 
    y_test,
    cmap='Blues'
)

KNN 在数字 ’4’ 和 ’9’ 上容易混淆
逻辑回归对倾斜数字敏感
两类模型在数字 ’1’ 上表现最好（F1>0.98）

KNN 优化方案
使用 KDTree 加速近邻搜索
对特征进行 PCA 降维
逻辑回归部署技巧
用 partial_fit 实现增量学习
注意类别不平衡时调整 class_weight
通用建议
使用 joblib 持久化模型
API 接口添加输入数据校验

from sklearn.ensemble import VotingClassifier

ensemble = VotingClassifier(
    estimators=[('knn', knn_gs.best_estimator_),
        ('lr', lr_gs.best_estimator_)
    ],
    voting='soft'
)