基于朴素贝叶斯算法的银行用户信用评估系统实战：从数据预处理到模型部署

1次阅读

没有评论

共计 2176 个字符，预计需要花费 6 分钟才能阅读完成。

银行信用评估是风险管理的核心环节，但传统方法面临诸多挑战：

评分卡模型的局限性 ：传统逻辑回归评分卡依赖线性假设，难以捕捉非线性特征关系。当用户行为数据呈现复杂模式时（如突然的大额转账），预测效果会显著下降。
小额信贷的数据稀疏性 ：新客户或低频借贷用户的历史数据有限，导致特征矩阵存在大量空值。某城商行数据显示，30% 的普惠金融用户借贷记录不足 3 条。
监管合规压力 ：巴塞尔协议 III 要求模型决策过程可追溯。而随机森林等黑箱模型虽准确率高，但难以通过监管审计。

对比主流分类算法后，我们最终选择了朴素贝叶斯（Naive Bayes），主要基于三点考量：

计算效率优势 ：在千万级用户数据场景下，训练时间比逻辑回归快 4 倍（实测数据：NB 18 分钟 vs LR 72 分钟）
概率解释性 ：直接输出违约概率 P(Y|X)，符合银行业务直觉。某风控总监反馈：” 比 SVM 的 margin 值更容易向董事会解释 ”
小数据鲁棒性 ：通过 Laplace 平滑处理零频问题，对稀疏数据表现稳定

金融数据往往包含混合类型特征，我们采用差异化的处理方案：

连续变量分箱 ：
对收入、负债率等数值特征使用等频分箱（pandas.qcut）
保留分箱边界用于线上推理时的一致处理
类别变量编码 ：
低基数特征（如性别、教育程度）直接使用 One-Hot
高基数特征（如职业代码）采用 Target Encoding，加入高斯噪声防止过拟合

# 等频分箱示例
import pandas as pd
def create_bins(df, col, n_bins=5):
    # NOTE: 保存分箱边界供生产环境使用
    bins = pd.qcut(df[col], q=n_bins, retbins=True, duplicates='drop')
    return bins[1]  # 返回分箱边界

我们提供了两种实现方式供选择：

Sklearn 版本 （适合快速上线）：

from sklearn.naive_bayes import CategoricalNB

model = CategoricalNB(alpha=1.0)  # Laplace 平滑
model.fit(X_encoded, y_train)

手动实现版 （深入理解原理）：

import numpy as np

class NaiveBayesClassifier:
    def __init__(self, alpha=1):
        self.alpha = alpha  # 平滑系数

    def fit(self, X, y):
        # 计算先验概率 P(y)
        self.classes_, counts = np.unique(y, return_counts=True)
        self.prior = (counts + self.alpha) / (len(y) + len(self.classes_)*self.alpha)

        # 计算条件概率 P(x|y)
        self.cond_prob = {}
        for cls in self.classes_:
            X_cls = X[y == cls]
            self.cond_prob[cls] = []
            for feature in range(X.shape[1]):
                feature_counts = np.bincount(X_cls[:, feature])
                total = feature_counts.sum() + len(np.unique(X[:, feature])) * self.alpha
                self.cond_prob[cls].append((feature_counts + self.alpha) / total
                )

银行业更关注风险误判的成本：

混淆矩阵优化 ：
类型 I 错误（误判好用户）导致利息损失
类型 II 错误（漏判坏用户）引发坏账
通过代价敏感学习调整决策阈值

KS 曲线绘制 ：

from sklearn.metrics import roc_curve

def plot_ks(y_true, y_prob):
    fpr, tpr, _ = roc_curve(y_true, y_prob)
    ks = max(tpr - fpr)
    print(f"KS 值: {ks:.3f}")
    # 可视化代码略...

将模型部署到线上时，需要特别注意：