基于逻辑回归的大学录取预测模型：从数据预处理到模型部署实战

1次阅读

共计 2482 个字符，预计需要花费 7 分钟才能阅读完成。

大学招生办公室每年需要处理成千上万份申请材料，传统人工审核方式存在明显瓶颈：

效率低下 ：审核人员需要逐份查阅成绩单、推荐信等材料，平均每份申请耗时 20 分钟以上
主观性强 ：不同审核员对 ” 优秀 ” 的标准存在差异，可能导致不公平录取
响应延迟 ：高峰期审核周期长达数周，错过优质生源风险增加

对比常见分类算法在录取预测场景的表现：

决策树 ：
优点：可解释性强，自动特征选择
缺点：容易过拟合，对数值特征敏感度低
SVM：
优点：高维空间表现好
缺点：计算复杂度高，参数调优困难
逻辑回归 ：
输出概率解释性强（直接反映录取可能性）
对线性可分数据效率极高
正则化参数可有效控制过拟合
特征系数可直接反映影响程度

import pandas as pd
import matplotlib.pyplot as plt

# 加载数据集
data = pd.read_csv('admissions.csv')
print(data.describe())

# 可视化成绩分布
plt.scatter(data['test1'], data['test2'], c=data['admitted'], alpha=0.5)
plt.xlabel('Test 1 Score')
plt.ylabel('Test 2 Score')
plt.show()

关键步骤说明：

缺失值处理：删除或填充缺失记录
特征标准化：消除量纲影响
数据集划分：保持分布一致性

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

# 特征标准化
scaler = StandardScaler()
X = scaler.fit_transform(data[['test1', 'test2']])
y = data['admitted']

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

正则化参数 C 的数学含义：

$\min_w |w|1 + C\sum)$}^n \log(1+e^{-y_iw^Tx_i

from sklearn.linear_model import LogisticRegression

# 创建模型实例
model = LogisticRegression(C=0.1, penalty='l1', solver='liblinear')

# 训练模型
model.fit(X_train, y_train)

# 查看特征重要性
print('特征系数：', model.coef_)

import numpy as np

# 生成网格点
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

# 预测每个网格点
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# 绘制决策边界
plt.contourf(xx, yy, Z, alpha=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=20, edgecolor='k')
plt.title('Logistic Regression Decision Boundary')
plt.show()

准确率陷阱 ：当录取率只有 10% 时，全拒模型也有 90% 准确率
推荐指标 ：
AUC-ROC（综合考量 TPR 和 FPR）
F1-score（平衡精确率与召回率）

from sklearn.metrics import roc_auc_score

y_prob = model.predict_proba(X_test)[:, 1]
print('AUC 得分：', roc_auc_score(y_test, y_prob))

三种常用方法对比：

过采样（SMOTE 算法）
欠采样（Cluster Centroids）
类别权重调整（class_weight 参数）

# 使用类别权重
balanced_model = LogisticRegression(class_weight='balanced')
balanced_model.fit(X_train, y_train)

预处理步骤（如标准化）应在训练集上 fit 后，再 transform 测试集
使用 Pipeline 封装流程：

from sklearn.pipeline import make_pipeline

pipe = make_pipeline(StandardScaler(),
    LogisticRegression())

输出特征重要性排序
计算边际效应：

# 计算 test1 成绩提高 1 分对录取概率的影响
test_case = np.array([[600, 550]])
base_prob = model.predict_proba(test_case)[0,1]

test_case[0,0] += 10 # 成绩增加 10 分
new_prob = model.predict_proba(test_case)[0,1]
print('录取概率变化：', new_prob - base_prob)