BP神经网络分类实战：从数学原理到Python实现

1次阅读

共计 1531 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络通过误差反向传播自动调整权重，能够逼近任意非线性分类边界；其分层结构可逐级提取特征，特别适合处理高维数据；配合适当的正则化手段，在保证泛化能力的同时实现高精度分类。

网络拓扑结构
输入层：神经元数量等于特征维度（如 $n_{input}=784$ 对于 MNIST）
隐藏层：推荐使用 $\lfloor \sqrt{n_{input} \times n_{output}} \rfloor$ 作为初始节点数
输出层：使用 Softmax 激活实现多分类，神经元数等于类别数
激活函数对比
$$
\begin{cases}
\sigma(z)=\frac{1}{1+e^{-z}} & \text{(Sigmoid，输出范围 (0,1))} \
ReLU(z)=max(0,z) & \text{(计算更快，缓解梯度消失)}
\end{cases}
$$
损失函数设计
交叉熵损失比 MSE 更适合分类任务：
$$
L=-\sum_{i=1}^K y_i\log(\hat{y}_i)
$$

import numpy as np
from sklearn.preprocessing import StandardScaler

# 数据标准化（示例为二维特征）scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)  # 均值 0 方差 1

# Xavier 初始化权重
def init_weights(input_dim, output_dim):
    limit = np.sqrt(6 / (input_dim + output_dim))
    return np.random.uniform(-limit, limit, (input_dim, output_dim))

# 前向传播（单隐藏层示例）def forward(X, W1, W2):
    h = np.maximum(0, X.dot(W1))  # ReLU 激活
    scores = h.dot(W2)
    probs = np.exp(scores) / np.sum(np.exp(scores), axis=1, keepdims=True)
    return probs, h

超参数对比实验
| 隐藏层节点数 | 训练准确率 | 验证准确率 |
|————–|————|————|
| 50 | 92.1% | 89.3% |
| 100 | 95.7% | 91.2% |
| 200 | 98.4% | 90.1% |

过拟合解决方案

# L2 正则化（在损失函数中添加）reg_loss = 0.5 * reg_lambda * (np.sum(W1**2) + np.sum(W2**2))
total_loss = data_loss + reg_loss

# Dropout 实现（前向传播时）mask = (np.random.rand(*h.shape) > p_dropout) / (1 - p_dropout)
h *= mask

梯度检查

grad_numerical = (loss_plus - loss_minus) / (2 * epsilon)
grad_analytic = W1_grad[0,0]
relative_error = abs(grad_numerical - grad_analytic) / (abs(grad_numerical) + abs(grad_analytic))
assert relative_error < 1e-7