机器学习发展史全景解析：从早期算法到现代深度学习革命

1次阅读

没有评论

共计 2190 个字符，预计需要花费 6 分钟才能阅读完成。

这个阶段的核心思想是 ” 用规则定义智能 ”。最具代表性的两项突破：

感知机（1957）：Frank Rosenblatt 提出的单层神经网络，学习规则为：
$$\Delta w_i = \eta(y-\hat{y})x_i$$
当时受限于线性可分问题，直到 1986 年反向传播算法出现才解决
决策树（1966）：Hunt 等人提出的 CLS 系统，采用 if-then 规则进行决策。ID3 算法（1986）引入信息增益：
$$IG(S,A) = H(S) – \sum_{v\in Values(A)} \frac{|S_v|}{|S|}H(S_v)$$

这个时期的特征工程完全依赖人工设计，典型应用是专家系统。

概率论与统计方法成为主流，两大里程碑：

支持向量机（1992）：Vapnik 提出基于结构风险最小化的分类器，通过核函数解决非线性问题：
$$\min \frac{1}{2}|w|^2 + C\sum_{i=1}^n \xi_i$$
随机森林（2001）：Breiman 将 bagging 与特征随机选择结合，显著提升泛化能力

此时特征工程开始自动化（如 PCA），但依然需要领域知识。

GPU 加速下的表示学习革命：

AlexNet（2012）：首次在 ImageNet 实现超越人类的识别率，关键创新：
ReLU 激活函数：$f(x)=max(0,x)$
Dropout 正则化
Transformer（2017）：自注意力机制彻底改变 NLP 领域：
$$Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d_k}})V$$

现代特征工程完全由模型自动学习，但需要海量数据和算力支持。

GPU 计算使训练速度提升 1000 倍（2009 年 CUDA 开始支持深度学习）
ImageNet（1400 万标注图像）等大数据集出现

工具	发布年	核心贡献
Scikit-learn	2007	统一 ML 算法接口
TensorFlow	2015	计算图自动微分
PyTorch	2016	动态图即时执行

AlexNet（2012）：证明深度网络的有效性
GAN（2014）：生成对抗训练框架
BERT（2018）：预训练 + 微调范式

# 1. 感知机实现（符号时代）import numpy as np

class Perceptron:
    def __init__(self, lr=0.01, n_iters=1000):
        self.lr = lr
        self.n_iters = n_iters

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)

        for _ in range(self.n_iters):
            for idx, x_i in enumerate(X):
                y_pred = np.dot(x_i, self.weights)
                update = self.lr * (y[idx] - (1 if y_pred >=0 else 0))
                self.weights += update * x_i

# 2. SVM 实现（统计时代）from sklearn.svm import SVC
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

digits = load_digits()
X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target)

svm = SVC(kernel='rbf', C=1.0)
svm.fit(X_train, y_train)
print(f"Test accuracy: {svm.score(X_test, y_test):.2f}")

# 3. CNN 实现（深度时代）import torch
import torch.nn as nn

class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, 3)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc1 = nn.Linear(32 * 13 * 13, 10)

    def forward(self, x):
        x = self.pool(torch.relu(self.conv1(x)))
        x = torch.flatten(x, 1)
        x = self.fc1(x)
        return x