神经网络复兴的关键：1986年反向传播算法深度解析与实现

1次阅读

没有评论

共计 1588 个字符，预计需要花费 4 分钟才能阅读完成。

在 20 世纪 80 年代初期，神经网络研究陷入了低谷，主要面临以下问题：

梯度消失问题 ：多层网络中误差信号在反向传播时会指数级衰减，导致深层权重难以更新
训练效率低下 ：缺乏有效的训练算法，传统感知机无法处理非线性可分问题
硬件限制 ：当时计算机算力有限，复杂网络训练时间难以接受

单层网络结构
仅能解决线性可分问题
使用简单的 Hebb 学习规则
无法处理 XOR 等非线性问题

支持多层网络结构
通过链式法则实现误差的有效传播
使用梯度下降优化
能解决复杂的非线性问题

对于输出层神经元 j，其误差信号 δ_j 为：

$$
δ_j = (y_j – t_j) \cdot f'(z_j)
$$

对于隐藏层神经元 h，误差信号 δ_h 通过链式法则传播：

$$
δ_h = f'(z_h) \cdot \sum_{j\in\text{ 下游}} w_{hj}δ_j
$$

权重更新采用梯度下降法：

$$
Δw_{ij} = -η \cdot δ_j \cdot x_i
$$

其中 η 为学习率，x_i 是前一层神经元的输出。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        self.z1 = np.dot(X, self.W1)
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, output, learning_rate):
        # 输出层误差
        error = output - y
        d_output = error * self.sigmoid_derivative(output)

        # 隐藏层误差
        error_hidden = d_output.dot(self.W2.T)
        d_hidden = error_hidden * self.sigmoid_derivative(self.a1)

        # 更新权重
        self.W2 -= learning_rate * self.a1.T.dot(d_output)
        self.W1 -= learning_rate * X.T.dot(d_hidden)

对于 n 个样本、m 层网络、每层平均 k 个神经元：