共计 1403 个字符，预计需要花费 4 分钟才能阅读完成。
问题引入：从房价预测看求解需求
假设我们要预测房价，已有 1000 条历史数据，每条包含房屋面积、卧室数量等特征。我们可能面临两种选择：
- 精确解需求 ：当数据量适中（比如几千条），需要快速得到准确系数时
- 迭代解需求 ：当数据量巨大（比如百万条），或需要实时更新模型时
这正对应线性回归的两种主要解法：显式解（闭式解）和随机梯度下降（SGD）。
数学原理对比
显式解：正规方程
线性回归的显式解通过正规方程求得：
$$ \theta = (X^T X)^{-1}X^Ty $$
其中关键点是：
- 需要计算特征矩阵的逆
- 当特征间存在线性相关时，$X^T X$ 可能不可逆
- 时间复杂度约为 $O(n^3)$，n 为特征数量
随机梯度下降
SGD 的更新规则为：
$$ \theta_j := \theta_j – \alpha (h_\theta(x^{(i)}) – y^{(i)})x_j^{(i)} $$
核心参数关系：
- 学习率 $\alpha$：控制每次更新的步长
- 批量大小：决定每次更新使用的样本数
- 迭代次数：影响最终收敛精度
代码实战对比
显式解实现
import numpy as np
# 生成示例数据
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
# 添加偏置项
X_b = np.c_[np.ones((100, 1)), X]
# 正规方程求解
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
print("显式解结果：", theta_best)SGD 实现
from sklearn.linear_model import SGDRegressor
# 使用默认参数
sgd_reg = SGDRegressor(max_iter=1000, tol=1e-3, penalty=None, eta0=0.1)
sgd_reg.fit(X, y.ravel())
print("SGD 结果：", [sgd_reg.intercept_[0], sgd_reg.coef_[0]])性能对比（10 万样本）
| 方法 | 内存占用 | 计算时间 |
|---|---|---|
| 显式解 | 高 | 短 |
| SGD | 低 | 长 |
工程实践考量
何时选择显式解
- 特征数量 < 1 万
- 需要精确解
- 一次性批量训练
何时选择 SGD
- 特征数量非常大
- 数据量超过内存容量
- 需要在线学习
- 非凸优化问题
常见问题与解决方案
显式解问题处理
当 $X^T X$ 不可逆时：
- 检查并移除线性相关特征
- 使用 L2 正则化：
theta_best = np.linalg.inv(X_b.T.dot(X_b) + alpha*np.eye(X_b.shape[1])).dot(X_b.T).dot(y)SGD 调优技巧
- 学习率衰减策略：
# 使用自适应学习率
sgd_reg = SGDRegressor(learning_rate='adaptive')- 特征缩放加速收敛：
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)延伸思考
可以尝试将这两种方法应用于：
- MNIST 手写数字分类（逻辑回归形式）
- 使用多项式特征扩展后的回归问题
- 不同正则化项的比较（L1 vs L2）
总结选择建议
根据我的实践经验，推荐：
- 中小规模数据：优先使用显式解
- 大规模 / 流式数据：选择 SGD
- 特征维度极高：SGD + 特征选择
最终还是要通过交叉验证来评估哪种方法在具体问题上表现更好。
正文完
