线性回归任务解析：显式解与随机梯度下降算法的核心差异与实战对比

1次阅读

没有评论

共计 2032 个字符，预计需要花费 6 分钟才能阅读完成。

线性回归的显式解通过正规方程（Normal Equation）直接求得最优参数。其矩阵形式表示为：

$$ \theta = (X^TX)^{-1}X^Ty $$

其中，(X)为设计矩阵（包含所有样本特征），(y)为目标向量。该解要求 (X^TX) 可逆，通常可通过添加正则化项（如 L2 正则化）保证矩阵非奇异：

$$ \theta = (X^TX + \lambda I)^{-1}X^Ty $$

SGD 通过迭代更新参数，每次使用单个样本或小批量样本计算梯度。参数更新公式为：

$$ \theta_{t+1} = \theta_t – \eta \nabla_\theta J(\theta_t; x_i, y_i) $$

关键超参数包括：

学习率(\eta)：控制更新步长
Batch size：决定每次梯度计算使用的样本量
迭代次数 / 早停机制：防止过拟合

显式解：涉及矩阵求逆，复杂度为(O(n^3))（n 为特征数量）
SGD：每次迭代复杂度为(O(kn))（k 为 batch size），适合高维场景

显式解 ：需存储(X^TX) 矩阵（大小(n \times n)），内存占用随特征数平方增长
SGD：仅需缓存当前 batch 数据，内存占用与 batch size 线性相关

显式解：依赖矩阵可逆性，需正则化或伪逆处理
SGD：天然适应秩缺陷矩阵，通过梯度方向自动调整

import numpy as np

def linear_regression_closed_form(X, y, lambda_=0.1):
    # 添加偏置项
    X = np.column_stack([np.ones(X.shape[0]), X])

    # 计算正则化矩阵
    n_features = X.shape[1]
    I = np.eye(n_features)
    I[0, 0] = 0  # 不正则化偏置项

    # 闭式解公式
    theta = np.linalg.inv(X.T @ X + lambda_ * I) @ X.T @ y
    return theta

import torch

class LinearRegressionSGD:
    def __init__(self, n_features):
        self.w = torch.randn(n_features, requires_grad=True)
        self.b = torch.zeros(1, requires_grad=True)

    def fit(self, X, y, epochs=1000, batch_size=32, lr=0.01):
        optimizer = torch.optim.SGD([self.w, self.b], lr=lr)
        scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=100, gamma=0.9)

        for epoch in range(epochs):
            permutation = torch.randperm(X.size(0))
            for i in range(0, X.size(0), batch_size):
                indices = permutation[i:i+batch_size]
                batch_X, batch_y = X[indices], y[indices]

                optimizer.zero_grad()
                y_pred = batch_X @ self.w + self.b
                loss = ((y_pred - batch_y)**2).mean()
                loss.backward()
                optimizer.step()

            scheduler.step()
            if epoch % 100 == 0:
                print(f'Epoch {epoch}, Loss: {loss.item():.4f}')