BP神经网络从数学原理到Python实现：新手避坑指南

1次阅读

共计 1250 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络是深度学习的基础，在图像识别、语音处理等领域发挥着关键作用。它通过自动学习特征权重，避免了传统方法中手工设计特征的繁琐过程。更重要的是，BP 算法的参数优化能力使其能处理复杂的非线性分类问题。

假设输入层有 2 个神经元，隐藏层 3 个神经元，输出层 1 个神经元，则权重矩阵为：

$$
W^{[1]} = \begin{bmatrix}
w_{11}^{[1]} & w_{21}^{[1]} \
w_{12}^{[1]} & w_{22}^{[1]} \
w_{13}^{[1]} & w_{23}^{[1]}
\end{bmatrix},
W^{[2]} = \begin{bmatrix}
w_{11}^{[2]} & w_{21}^{[2]} & w_{31}^{[2]}
\end{bmatrix}
$$

前向传播公式：
$$
Z^{[1]} = W^{[1]}X + b^{[1]},\quad A^{[1]} = \sigma(Z^{[1]})
$$

以均方误差损失函数为例：

$$
\frac{\partial L}{\partial W^{[2]}} = \frac{\partial L}{\partial A^{[2]}}\cdot\frac{\partial A^{[2]}}{\partial Z^{[2]}}\cdot\frac{\partial Z^{[2]}}{\partial W^{[2]}}
$$

Sigmoid 函数导数计算：
$$
\sigma'(z) = \sigma(z)(1-\sigma(z))
$$

import numpy as np

# 数据标准化
def normalize(X):
    return (X - np.mean(X)) / np.std(X)

# Xavier 初始化
def init_weights(n_in, n_out):
    return np.random.randn(n_in, n_out) * np.sqrt(1/n_in)

# 此处易错：反向传播时维度对齐
def backward_propagation(A1, A2, X, Y, W1, W2):
    dZ2 = A2 - Y
    dW2 = np.dot(A1.T, dZ2) / m
    dZ1 = np.dot(dZ2, W2.T) * A1 * (1 - A1)  # Sigmoid 导数
    dW1 = np.dot(X.T, dZ1) / m
    return dW1, dW2