C++实现逻辑回归：从数学推导到高性能实现

1次阅读

共计 1790 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习领域，逻辑回归是一个基础但强大的分类算法。虽然 Python 的 scikit-learn 等库提供了现成的实现，但自己用 C ++ 实现逻辑回归有以下几个优势：

性能控制：可以针对特定场景进行深度优化
依赖管理：减少对外部库的依赖，便于部署
学习价值：深入理解算法本质和实现细节
定制能力：可以灵活调整算法细节满足特殊需求

逻辑回归的核心是 sigmoid 函数：

σ(z) = 1 / (1 + e^{-z})

这个函数将线性组合 z = w^T x + b 映射到 (0,1) 区间，可以解释为概率。损失函数通常使用交叉熵：

L(y, ŷ) = -[y log(ŷ) + (1-y)log(1-ŷ)]

良好的数据预处理是模型成功的关键：

特征标准化：将特征缩放至均值为 0，方差为 1
处理缺失值：可以用均值填充或特殊标记
类别特征：需要进行 one-hot 编码

批量梯度下降的基本步骤：

初始化权重 w 和偏置 b
计算预测值ŷ = σ(w^T x + b)
计算梯度∂L/∂w = (ŷ – y)x
更新参数：w = w – α * ∂L/∂w
重复直到收敛

学习率 α 的选择很重要，可以使用学习率衰减策略。

为防止过拟合，可以加入 L1 或 L2 正则化：

L2 正则化：损失函数加上 λ ||w||^2
L1 正则化：损失函数加上 λ |w|

以下是使用 Eigen 库的核心实现片段：

#include <Eigen/Dense>
#include <cmath>

using namespace Eigen;

class LogisticRegression {
public:
    LogisticRegression(double lr=0.01, int n_iters=1000) 
        : learning_rate(lr), n_iterations(n_iters) {}

    void fit(const MatrixXd& X, const VectorXd& y) {
        // 初始化参数
        weights = VectorXd::Zero(X.cols());
        bias = 0;

        for (int i = 0; i < n_iterations; ++i) {
            // 计算预测值
            VectorXd z = X * weights + VectorXd::Constant(X.rows(), bias);
            VectorXd y_pred = sigmoid(z);

            // 计算梯度
            VectorXd dw = X.transpose() * (y_pred - y) / X.rows();
            double db = (y_pred - y).sum() / X.rows();

            // 更新参数
            weights -= learning_rate * dw;
            bias -= learning_rate * db;
        }
    }

    VectorXd predict(const MatrixXd& X) {VectorXd z = X * weights + VectorXd::Constant(X.rows(), bias);
        return (sigmoid(z).array() > 0.5).cast<double>();}

private:
    VectorXd weights;
    double bias;
    double learning_rate;
    int n_iterations;

    VectorXd sigmoid(const VectorXd& z) {return 1.0 / (1.0 + (-z.array()).exp());
    }
};

提升性能的几个关键点：