BP神经网络思维导图：从数学原理到Python实战入门指南

1次阅读

没有评论

共计 1561 个字符，预计需要花费 4 分钟才能阅读完成。

刚开始接触 BP 神经网络时，我总被这几个问题困扰：

反向传播的链式求导看着像天书，参数更新公式怎么来的？
权重矩阵的维度总是对不上，W.T 和 W 到底该用哪个？
用 Sigmoid 训练三层网络时，损失函数几乎不下降

后来发现这些不是个例——根据 2021 年 arXiv 的研究，62% 的初学者会在反向传播推导阶段卡壳。

输入层到隐藏层：
$$h_1 = \sigma(W_1X + b_1)$$
其中 $W_1$ 形状为[hidden_size, input_dim]，$X$ 是[batch_size, input_dim]
隐藏层到输出层：
$$\hat{y} = softmax(W_2h_1 + b_2)$$
这里 $W_2$ 需要转置才能与 $h_1$ 相乘

关键点在于：

输出层梯度：$\frac{\partial L}{\partial W_2} = (\hat{y} – y)h_1^T$
隐藏层梯度：$\frac{\partial L}{\partial W_1} = (W_2^T(\hat{y}-y)) \odot \sigma'(z_1) X^T$

import numpy as np

class BPNetwork:
    def __init__(self, input_dim, hidden_size):
        # 初始化时添加维度检查
        assert hidden_size > 0, "隐藏层神经元数必须为正整数"
        self.W1 = np.random.randn(hidden_size, input_dim) * 0.01
        self.b1 = np.zeros((hidden_size, 1))

    def forward(self, X):
        # 前向传播带维度断言
        assert X.shape[1] == self.W1.shape[1], \
            f"输入维度 {X.shape[1]} 与权重 {self.W1.shape[1]} 不匹配"
        self.z1 = np.dot(self.W1, X.T) + self.b1
        self.a1 = 1/(1+np.exp(-self.z1))  # Sigmoid 激活

    def backward(self, X, y, lr=0.1):
        m = X.shape[0]  # 批大小
        dz2 = self.a1 - y.T  # 输出层误差
        dW2 = np.dot(dz2, self.a1.T) / m

        # 梯度裁剪（防止爆炸）np.clip(dz2, -5, 5, out=dz2)

        # 更新参数（带学习率衰减）self.W2 -= lr * dW2

梯度消失对策：
隐藏层改用 ReLU 激活函数
初始权重乘以 $\sqrt{2/n_{in}}$(He 初始化)
学习率设置：
$$lr = 0.1 \times 0.95^{epoch}$$
每轮衰减 5%
批量大小影响：
样本量 <1000 时建议全批量训练
大数据集用 128/256 的 mini-batch

早停策略：

if val_loss > prev_loss * 1.1:  # 损失上升 10%
    print("触发早停")
    break

神经元数量公式：
$$hidden_size = \sqrt{input_dim \times output_dim}$$

from sklearn.datasets import make_moons
X, y = make_moons(n_samples=1000, noise=0.1)

# 训练过程可视化
plt.plot(losses)
plt.xlabel('Epoch')
plt.ylabel('Cross Entropy Loss')

当输入特征维度（如基因数据的 20,000 个特征）远大于样本数量（100 个病人）时：