从2016年斯坦福CS229课程项目看机器学习新手入门的最佳实践

1次阅读

共计 1594 个字符，预计需要花费 4 分钟才能阅读完成。

2016 年斯坦福 CS229 课程项目中，Gary Thung 和 Mindy Yang 选择了一个经典的机器学习问题：手写数字识别。这个项目不仅要求实现高精度的分类模型，还需要展示完整的机器学习工作流程。对于新手来说，这是一个绝佳的入门案例，因为它涵盖了数据预处理、特征工程、模型训练和评估等核心环节。

这个项目的技术挑战包括：

处理高维数据（28×28 像素的图像）
选择合适的算法以平衡准确率和计算效率
优化模型参数以避免过拟合

在算法选择上，项目团队评估了以下几种方案：

逻辑回归：简单易懂，计算效率高，但准确率可能不够理想
支持向量机（SVM）：在中小规模数据集上表现优异，但调参较复杂
随机森林：对特征缩放不敏感，但可能不如深度学习模型准确
神经网络：准确率高，但需要更多数据和计算资源

最终他们选择了 带正则化的逻辑回归 作为基线模型，这是新手入门的最佳选择，因为：

实现简单
训练速度快
可以作为后续更复杂模型的基准

加载 MNIST 数据集
归一化像素值到 [0,1] 范围
划分训练集 / 测试集（80/20 比例）

from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split

# 加载数据
X, y = fetch_openml('mnist_784', version=1, return_X_y=True)

# 数据归一化
X = X / 255.0

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

由于原始数据已经是处理好的特征（像素值），项目主要进行了：

标准化处理
使用 PCA 降维（可选）

使用交叉验证选择最佳正则化参数
早停策略防止过拟合
学习率调度优化收敛速度

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 初始化模型
model = LogisticRegression(
    penalty='l2',
    C=1.0,
    solver='saga',
    multi_class='multinomial',
    max_iter=100,
    tol=1e-4
)

# 训练模型
model.fit(X_train, y_train)

# 预测
predictions = model.predict(X_test)

# 评估
accuracy = accuracy_score(y_test, predictions)
print(f'Test accuracy: {accuracy:.4f}')