BP神经网络数据分类实战：从原理到工业级实现

1次阅读

共计 1669 个字符，预计需要花费 5 分钟才能阅读完成。

在金融风控领域，传统逻辑回归模型对信用卡欺诈交易的识别准确率往往难以突破 85%。当面对如图 1 所示的非线性可分数据分布时，线性决策边界（红色虚线）会漏掉大量异常交易（橙色三角），而神经网络（蓝色曲面）能捕捉复杂模式：

# 传统模型与 NN 决策边界对比示例
plt.scatter(X[:,0], X[:,1], c=y, cmap=rainbow)
plt.plot(x_linear, y_linear, 'r--')  # 线性分类边界
plt.contour(xx, yy, Z_nn, colors='b') # 神经网络决策面

隐藏层输出计算：
$$h_j = \sigma(\sum_{i=1}^n w_{ij}x_i + b_j)$$
其中 $\sigma$ 为激活函数，输出层采用 Softmax：
$$y_k = \frac{e^{z_k}}{\sum_{l=1}^K e^{z_l}}$$

权重更新遵循链式法则：
$$\frac{\partial L}{\partial w_{ij}} = \frac{\partial L}{\partial h_j}\frac{\partial h_j}{\partial w_{ij}}$$
具体推导过程见梯度计算流程图：

graph LR
  A[输出层误差 δ_k] --> B[隐藏层误差 δ_j=σ'(z_j)∑δ_k w_jk]
  B --> C[权重更新 Δw_ij=ηδ_j x_i]

class BPNeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        # 参数初始化代码...

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.relu(self.z1)  # 使用 ReLU 激活
        # 前向传播完整实现...

    def train(self, X, y, epochs=1000, batch_size=32):
        for epoch in range(epochs):
            indices = np.random.permutation(len(X))
            for i in range(0, len(X), batch_size):  # Mini-batch 划分
                batch_idx = indices[i:i+batch_size]
                X_batch, y_batch = X[batch_idx], y[batch_idx]
                # 反向传播更新代码...

param_grid = {'hidden_size': [64, 128, 256],
    'learning_rate': [0.1, 0.01, 0.001],
    'batch_size': [32, 64, 128]
}
# 使用交叉验证评估每种组合

$$FL(p_t) = -α_t(1-p_t)^γlog(p_t)$$
实现代码：

def focal_loss(y_true, y_pred, alpha=0.25, gamma=2):
    pt = np.where(y_true==1, y_pred, 1-y_pred)
    return -np.mean(alpha * (1-pt)**gamma * np.log(pt))