反向传播算法如何重新激活神经网络研究：1986年的技术突破与当代实践

1次阅读

没有评论

共计 2254 个字符，预计需要花费 6 分钟才能阅读完成。

在 1986 年之前，神经网络研究曾经历了一段低谷期。早期的感知机模型虽然简单有效，但存在一个致命缺陷：它无法解决非线性可分问题。多层感知机（MLP）理论上可以解决这个问题，但缺乏有效的训练算法。当时的神经网络面临以下主要困境：

梯度消失问题：在深层网络中，误差信号在反向传播时会逐渐减弱，导致底层网络参数难以更新
计算资源限制：当时的计算机性能有限，无法支持复杂神经网络的计算需求
理论不完善：缺乏系统的数学理论支持深层网络的训练

这些限制使得神经网络研究在 20 世纪 70 年代至 80 年代中期陷入了所谓的 ”AI 寒冬 ”。

反向传播算法的核心是通过链式法则计算损失函数对网络各层参数的梯度。其数学基础可以表示为：

前向传播计算：
$$a^l = \sigma(W^l a^{l-1} + b^l)$$
误差反向传播：
$$\delta^l = ((W^{l+1})^T \delta^{l+1}) \odot \sigma'(z^l)$$
参数梯度计算：
$$\frac{\partial L}{\partial W^l} = \delta^l (a^{l-1})^T$$
$$\frac{\partial L}{\partial b^l} = \delta^l$$
参数更新：
$$W^l \leftarrow W^l – \eta \frac{\partial L}{\partial W^l}$$
$$b^l \leftarrow b^l – \eta \frac{\partial L}{\partial b^l}$$

其中 $\sigma$ 是激活函数，$\odot$ 表示逐元素乘法，$\eta$ 是学习率。

以下是使用 Python 和 NumPy 实现的基本反向传播算法：

import numpy as np

class NeuralNetwork:
    def __init__(self, layer_sizes):
        # 初始化权重和偏置
        self.weights = [np.random.randn(y, x) for x, y in zip(layer_sizes[:-1], layer_sizes[1:])]
        self.biases = [np.random.randn(y, 1) for y in layer_sizes[1:]]

    def forward(self, x):
        # 前向传播
        a = x
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, a) + b
            a = sigmoid(z)
        return a

    def backward(self, x, y):
        # 反向传播
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        nabla_b = [np.zeros(b.shape) for b in self.biases]

        # 前向传播并保存中间结果
        activation = x
        activations = [x]
        zs = []
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, activation) + b
            zs.append(z)
            activation = sigmoid(z)
            activations.append(activation)

        # 输出层误差
        delta = (activations[-1] - y) * sigmoid_prime(zs[-1])
        nabla_b[-1] = delta
        nabla_w[-1] = np.dot(delta, activations[-2].transpose())

        # 反向传播误差
        for l in range(2, len(self.weights)+1):
            z = zs[-l]
            sp = sigmoid_prime(z)
            delta = np.dot(self.weights[-l+1].transpose(), delta) * sp
            nabla_b[-l] = delta
            nabla_w[-l] = np.dot(delta, activations[-l-1].transpose())

        return (nabla_w, nabla_b)

def sigmoid(z):
    return 1.0/(1.0+np.exp(-z))

def sigmoid_prime(z):
    return sigmoid(z)*(1-sigmoid(z))

现代深度学习框架对反向传播算法进行了多方面优化：