Lasso回归实战指南：从原理到解决多重共线性问题

1次阅读

共计 2178 个字符，预计需要花费 6 分钟才能阅读完成。

普通最小二乘法 (OLS) 回归在实际应用中常遇到两个致命问题：

多重共线性：当特征高度相关时，OLS 估计的方差急剧增大，导致模型不稳定
过拟合 ：当特征数量(p) 接近样本量 (n) 时，模型容易记住噪声而非规律

举个真实案例：在房价预测中，若同时存在 ” 卧室数量 ” 和 ” 房屋面积 ” 两个强相关特征，传统回归的系数可能呈现反直觉的正负波动。

两方法的损失函数分别为：

Lasso: \min_\beta \left\{\frac{1}{2n} \sum_{i=1}^n (y_i - \beta^T x_i)^2 + \alpha \|\beta\|_1 \right\}

Ridge: \min_\beta \left\{\frac{1}{2n} \sum_{i=1}^n (y_i - \beta^T x_i)^2 + \alpha \|\beta\|_2^2 \right\}

关键区别在于：

Lasso 的 L1 惩罚会 产生稀疏解（部分系数归零）
Ridge 的 L2 惩罚 均匀压缩 所有系数

场景	Lasso 优势	Ridge 优势
特征选择	自动筛选重要特征	保留所有特征
高维数据(p>>n)	有效降维	需配合 PCA 使用
强相关特征	随机选择一个	均衡分配权重
解释性要求	明确显示关键变量	更适合集成到复杂管道

from sklearn.linear_model import Lasso
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV
import numpy as np

# 模拟数据：100 样本,10 特征(其中 3 个真实相关)
n_samples, n_features = 100, 10
np.random.seed(42)
X = np.random.randn(n_samples, n_features)
# 真实系数：只有前 3 个特征有贡献
true_coef = [3, 1.5, 0, 0, 0, 0, 0, 0, 0, 0]
y = X.dot(true_coef) + np.random.normal(0, 1, n_samples)

# 必须标准化！Lasso 对尺度敏感
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 网格搜索最优 alpha
param_grid = {'alpha': np.logspace(-4, 0, 50)}
model = GridSearchCV(Lasso(), param_grid, cv=5)
model.fit(X_scaled, y)

print(f"最佳 alpha: {model.best_params_['alpha']:.4f}")
print("估计系数:", np.round(model.best_estimator_.coef_, 2))

标准化先行 ：Lasso 对特征尺度敏感，必须先用StandardScaler 归一化
超参数调优：通过交叉验证选择 α，范围建议从 1e- 4 到 1 对数均匀采样
系数解读：绝对值大的系数对目标变量影响更大，零系数表示被筛除

当 α 足够大时，部分系数会 精确归零，实现特征选择
几何解释：菱形约束区域与损失函数等高线的交点常在坐标轴上

坐标下降法是主流解法，复杂度约 O(n_samples * n_features * max_iter)
实际建议：
特征数 >10 万时考虑SGDRegressor(penalty='l1')
使用 warm_start=True 加速超参数搜索

初始搜索范围：np.logspace(-4, 1, 50)
观察路径图：用 sklearn.lasso_path 可视化系数随 α 的变化
业务平衡点：在稀疏性和预测精度间 trade-off

from sklearn.inspection import permutation_importance

result = permutation_importance(model, X_test, y_test, n_repeats=10)
sorted_idx = result.importances_mean.argsort()

plt.barh(range(X.shape[1]), result.importances_mean[sorted_idx])
plt.yticks(range(X.shape[1]), [f"Feature {i}" for i in sorted_idx])