C++实现逻辑回归：从数学推导到工业级代码实战

1次阅读

共计 1953 个字符，预计需要花费 5 分钟才能阅读完成。

逻辑回归作为经典的分类算法，在实际实现中常遇到以下问题：

特征尺度差异：当特征取值范围相差过大时，梯度下降收敛速度会显著变慢
数值溢出风险 ：Sigmoid 函数中直接计算 exp(-x) 在 x 较大时会导致浮点数溢出
局部最优陷阱：学习率设置不当容易陷入局部最优或产生震荡

实现方式	计算速度	代码复杂度	可维护性
纯 C ++ 数组	较低	高	差
Eigen 矩阵运算	高	中	好

Eigen 库通过以下方式提升性能：

自动 SIMD 指令优化
惰性求值减少临时变量
表达式模板避免循环

// 标准化处理（Z-score）void standardize(MatrixXd &X) {VectorXd mean = X.colwise().mean();
    VectorXd std = ((X.rowwise() - mean.transpose()).array().square().colwise().mean()).sqrt();
    X = (X.rowwise() - mean.transpose()).array().rowwise() / std.transpose().array();
}

使用 log1p 和 expm1 避免数值溢出：

double sigmoid(double x) {if(x >= 0) {return 1.0 / (1.0 + exp(-x));
    } else {double ex = exp(x);
        return ex / (1.0 + ex);
    }
}

更新公式：

$\theta_j := \theta_j – \alpha \left[\frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) – y^{(i)})x_j^{(i)} + \frac{\lambda}{m}\theta_j \right]$

void train(const MatrixXd &X, const VectorXd &y, double lr, double lambda, int epochs) {VectorXd theta = VectorXd::Zero(X.cols());
    for(int i=0; i<epochs; ++i) {VectorXd grad = VectorXd::Zero(X.cols());
        for(int j=0; j<X.rows(); ++j) {double h = sigmoid(X.row(j).dot(theta));
            grad += (h - y(j)) * X.row(j).transpose();}
        grad = grad/X.rows() + (lambda/X.rows())*theta;
        theta -= lr * grad;
    }
    return theta;
}

project/
├── CMakeLists.txt
├── include/
│   └── LogisticRegression.h
├── src/
│   └── LogisticRegression.cpp
└── test/
    └── test_logistic.cpp

CMake 配置示例：

find_package(Eigen3 REQUIRED)
find_package(GTest REQUIRED)

add_library(logistic_regression STATIC src/LogisticRegression.cpp)
target_link_libraries(logistic_regression Eigen3::Eigen)

add_executable(test_logistic test/test_logistic.cpp)
target_link_libraries(test_logistic logistic_regression GTest::GTest)