BP前馈神经网络实战指南：从理论到代码实现

1次阅读

共计 1853 个字符，预计需要花费 5 分钟才能阅读完成。

BP 前馈神经网络是深度学习的基础架构，在图像分类、语音识别等领域展现出强大的特征提取能力。它通过多层非线性变换将原始输入映射到目标空间，相比传统算法能自动学习层次化特征表示。其核心价值在于端到端训练能力和对复杂模式的逼近特性。

当网络层数较深时，误差反向传播过程中梯度会逐层衰减。以下是一个 3 层网络的梯度传递示例：

$$ \frac{\partial E}{\partial W_1} = \frac{\partial E}{\partial a_3} \cdot \sigma'(z_3) \cdot W_3 \cdot \sigma'(z_2) \cdot W_2 \cdot \sigma'(z_1) \cdot x $$

其中连续相乘的导数项（特别是 sigmoid 导数最大仅 0.25）会导致梯度指数级减小。

饱和区梯度接近零（当输入 >2 或 <- 2 时）
输出不以零为中心（影响梯度更新方向）
计算涉及指数运算较耗时

设第 $l$ 层权重为 $W^l$，偏置为 $b^l$，则：

$$ z^l = W^l a^{l-1} + b^l $$
$$ a^l = \sigma(z^l) $$

输出层采用 softmax 时：
$$ a^L_j = \frac{e^{z^L_j}}{\sum_k e^{z^L_k}} $$

import numpy as np

class NeuralNetwork:
    def __init__(self, layers):
        # Xavier 初始化
        self.weights = [np.random.randn(y, x)/np.sqrt(x) 
                        for x, y in zip(layers[:-1], layers[1:])]

    def backward(self, x, y):
        # 存储各层梯度
        grad_w = [np.zeros_like(w) for w in self.weights]

        # 前向传播
        activation = x
        activations = [x]
        zs = []

        for w in self.weights:
            z = np.dot(w, activation)
            zs.append(z)
            activation = sigmoid(z)
            activations.append(activation)

        # 反向传播
        delta = (activations[-1] - y) * sigmoid_prime(zs[-1])  # 输出层误差
        grad_w[-1] = np.outer(delta, activations[-2])  # 最后一层梯度

        for l in range(2, len(self.weights)+1):
            z = zs[-l]
            delta = np.dot(self.weights[-l+1].T, delta) * sigmoid_prime(z)
            grad_w[-l] = np.outer(delta, activations[-l-1])

        return grad_w

对于线性激活函数，要求：
$$ \text{Var}(w_{ij}) = \frac{1}{n_{in}} $$
推导过程：
设输入 $x_j$ 方差为 1，则 $z_i = \sum_j w_{ij}x_j$ 的方差应保持稳定：
$$ \text{Var}(z_i) = n_{in} \cdot \text{Var}(w_{ij}) \cdot \text{Var}(x_j) $$
令其等于 1 即得上述结论。

采用指数衰减策略：

learning_rate = initial_lr * (0.95 ** epoch)

通过记录训练曲线可观察到：
– 前期快速下降
– 后期稳定收敛
– 避免在最优值附近震荡

修改损失函数计算：

def compute_loss(self, x, y, lambd=0.01):
    data_loss = cross_entropy(y_pred, y)
    reg_loss = 0.5 * lambd * sum(np.sum(w**2) for w in self.weights)
    return data_loss + reg_loss