sklearn逻辑回归实战：手写数字识别入门指南与性能调优

1次阅读

没有评论

共计 2088 个字符，预计需要花费 6 分钟才能阅读完成。

对于机器学习初学者来说，手写数字识别是一个经典的入门项目。然而，直接使用逻辑回归（Logistic Regression）处理图像数据时，往往会遇到以下几个典型问题：

特征维度灾难 ：原始 MNIST 图像是 28×28 像素，展开后形成 784 维特征向量。高维特征不仅增加计算负担，还容易导致模型过拟合。
类别不平衡 ：某些数字（如 1）可能比其他数字（如 7）出现频率更高，影响模型对少数类的识别能力。
线性限制 ：逻辑回归本质是线性分类器，而手写数字的形态变化多样，简单的线性决策边界难以捕捉复杂模式。

逻辑回归作为入门模型有以下优势：

解释性强 ：权重系数直观反映特征重要性
训练速度快 ：适合快速验证想法
多分类支持 ：通过 one-vs-rest 策略天然支持多分类

我们对比两种特征处理方法：

原始像素特征 ：
直接使用 784 维像素值
特征间存在高度相关性（相邻像素相似）
需要 L2 正则化防止过拟合
PCA 降维特征 ：
保留 95% 方差时通常可降至 150-200 维
消除特征相关性
显著减少计算量

实验表明，PCA 处理后模型训练速度提升 3 倍，而准确率仅下降 1 -2%。

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1)
X, y = mnist["data"], mnist["target"]

数据标准化至关重要（像素值原范围 0 -255）：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

from sklearn.pipeline import make_pipeline
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression

pipe = make_pipeline(PCA(n_components=0.95),  # 保留 95% 方差
    LogisticRegression(
        penalty='l2',
        C=1.0,
        solver='saga',
        max_iter=1000,
        multi_class='ovr'  # one-vs-rest 策略
    )
)

使用网格搜索寻找最佳正则化强度：

from sklearn.model_selection import GridSearchCV

param_grid = {'logisticregression__C': [0.01, 0.1, 1, 10]
}
grid = GridSearchCV(pipe, param_grid, cv=3)
grid.fit(X_train, y_train)

# 数据可视化
import matplotlib.pyplot as plt

def plot_digit(image_data):
    plt.imshow(image_data.reshape(28, 28), cmap="binary")
    plt.axis("off")

sample = X[0]
plot_digit(sample)
plt.title(f"Label: {y[0]}")
plt.show()

# 交叉验证实现
from sklearn.model_selection import cross_val_score

scores = cross_val_score(pipe, X_scaled, y, cv=5, scoring='accuracy')
print(f"平均准确率: {scores.mean():.3f} ± {scores.std():.3f}")

# 混淆矩阵
from sklearn.metrics import ConfusionMatrixDisplay

ConfusionMatrixDisplay.from_estimator(
    grid.best_estimator_,
    X_test,
    y_test,
    cmap=plt.cm.Blues
)
plt.show()

当处理全量 6 万样本时：