AI-逻辑回归的重点：从特征工程到模型优化的实战指南

1次阅读

没有评论

共计 2108 个字符，预计需要花费 6 分钟才能阅读完成。

逻辑回归虽然名字里有“回归”，但它实际上是解决分类问题的经典算法。它的核心思想是通过 Sigmoid 函数将线性回归的输出映射到 (0,1) 区间，表示样本属于某一类的概率。

适用场景：二分类问题（如垃圾邮件识别、用户流失预测）、多分类问题（通过 OvR 或 softmax 扩展）
优势：模型可解释性强、计算效率高、输出概率值便于业务决策
局限性：对非线性关系捕捉能力有限、对特征工程依赖度高

虽然逻辑回归不像 SVM 那样严格要求特征缩放，但规范化的特征可以：

加速梯度下降收敛
使正则化惩罚更公平（所有特征处于相同尺度）

推荐方法：

StandardScaler（均值归一化）：适用于特征大致符合正态分布
MinMaxScaler（最大最小值缩放）：适用于有明确边界的数据

线性模型可以通过特征组合捕捉非线性关系：

from sklearn.preprocessing import PolynomialFeatures

# 创建二阶交互项
poly = PolynomialFeatures(degree=2, interaction_only=True, include_bias=False)
X_interact = poly.fit_transform(X)

有序类别：使用 OrdinalEncoder
无序类别：使用 OneHotEncoder（注意避免虚拟变量陷阱）

L1（Lasso）：产生稀疏解，适用于特征选择
L2（Ridge）：使权重平滑，适用于特征相关性高的情况

C是正则化强度的倒数（C 越小正则化越强），建议使用网格搜索：

from sklearn.model_selection import GridSearchCV

param_grid = {'C': [0.001, 0.01, 0.1, 1, 10, 100]}
grid = GridSearchCV(LogisticRegression(penalty='l2'), param_grid, cv=5)
grid.fit(X_train, y_train)

# 导入库
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.model_selection import train_test_split

# 数据准备
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建预处理管道
numeric_features = ['age', 'income']
categorical_features = ['gender', 'education']

preprocessor = ColumnTransformer(
    transformers=[('num', StandardScaler(), numeric_features),
        ('cat', OneHotEncoder(handle_unknown='ignore'), categorical_features)
    ])

# 创建完整模型管道
model = make_pipeline(
    preprocessor,
    LogisticRegression(penalty='l2', C=1.0, solver='lbfgs', max_iter=1000)
)

# 训练与预测
model.fit(X_train, y_train)
y_pred = model.predict_proba(X_test)[:, 1]  # 获取正类概率