数据挖掘与机器学习理论基础：从数学原理到工程实践

1次阅读

共计 1957 个字符，预计需要花费 5 分钟才能阅读完成。

机器学习模型的最终表现本质上由其数学基础决定。概率论为不确定性建模提供框架，线性代数支撑高维数据的表示与变换，优化理论则直接关系到模型能否收敛到理想解。忽视这些理论基础，工程实现将沦为盲目的参数调优。

推荐系统中的协同过滤可建模为后验概率估计问题。设用户 $u$ 对物品 $i$ 的评分 $r_{ui}$ 服从分布 $P(r_{ui}|\theta)$，通过贝叶斯定理推导后验：

$$P(\theta|r_{ui}) = \frac{P(r_{ui}|\theta)P(\theta)}{P(r_{ui})}$$

实际工程中常采用近似推断。以下代码展示基于贝叶斯的评分预测：

import numpy as np
from scipy.stats import beta

class BayesianEstimator:
    def __init__(self, alpha_prior=1, beta_prior=1):
        """初始化 Beta 先验参数"""
        self.alpha = alpha_prior
        self.beta = beta_prior

    def update(self, successes, trials):
        """更新后验分布"""
        self.alpha += successes
        self.beta += (trials - successes)

    def predict(self):
        """返回预测概率"""
        return self.alpha / (self.alpha + self.beta)

EM 算法通过交替执行 E 步（期望计算）和 M 步（参数最大化）保证似然函数单调递增。收敛性证明依赖 Jensen 不等式：

$$\log p(X|\theta) \geq \mathcal{L}(q, \theta)$$

奇异值分解（SVD/Singular Value Decomposition）将矩阵 $A$ 分解为：

$$A = U\Sigma V^T$$

以下代码演示在推荐系统中的降维应用：

import numpy as np
from scipy.linalg import svd

def reduce_dimension(ratings_matrix, k=50):
    """
    参数:
        ratings_matrix: m×n 用户 - 物品评分矩阵
        k: 保留的奇异值数量
    返回:
        降维后的低秩近似矩阵
    """
    # 数值稳定性处理
    ratings_matrix = np.nan_to_num(ratings_matrix)

    # 执行 SVD
    U, sigma, Vt = svd(ratings_matrix, full_matrices=False)

    # 截断奇异值
    sigma_k = np.diag(sigma[:k])
    U_k = U[:, :k]
    Vt_k = Vt[:k, :]

    return U_k @ sigma_k @ Vt_k

梯度下降（Gradient Descent）的收敛速度为线性 $O(1/\epsilon)$，而牛顿法（Newton’s Method）可达二次收敛 $O(\log\log(1/\epsilon))$。自适应学习率实现如下：

def adaptive_learning_rate(epoch, base_lr=0.1):
    """学习率衰减策略"""
    return base_lr * (0.9 ** epoch)

class NewtonOptimizer:
    def __init__(self, hessian_reg=1e-3):
        self.reg = hessian_reg  # 黑塞矩阵正则化系数

    def step(self, grad, hessian):
        """
        参数:
            grad: 梯度向量
            hessian: 黑塞矩阵
        返回:
            参数更新量
        """
        # 添加正则项保证可逆
        hessian += np.eye(hessian.shape[0]) * self.reg
        return -np.linalg.solve(hessian, grad)