1986年反向传播算法普及：神经网络训练的革命性突破与技术实现

1次阅读

共计 2011 个字符，预计需要花费 6 分钟才能阅读完成。

在 1980 年代初期，神经网络虽然已经展现出强大的模式识别潜力，但训练过程却面临巨大挑战。当时的神经网络主要依赖感知机等简单模型，无法有效处理多层网络的学习问题。传统方法如感知机学习规则仅适用于单层网络，其局限性主要体现在以下几个方面：

无法处理非线性可分问题
缺乏有效的权重更新机制
对于隐藏层的训练束手无策

这些限制使得神经网络在复杂任务上的表现远不如预期，导致许多研究者对神经网络失去了信心，甚至引发了第一次 ”AI 寒冬 ”。

1986 年，Rumelhart、Hinton 和 Williams 正式提出并普及了反向传播算法（Backpropagation），为多层神经网络训练提供了可行的解决方案。该算法的核心思想是通过链式法则将误差从输出层反向传播到网络各层，从而计算每个参数的梯度。

前向传播过程 ：
输入数据通过网络层层传递，每一层执行线性变换（权重矩阵乘法）和非线性激活函数变换，最终产生预测输出。
损失计算 ：
比较预测输出与真实标签，计算损失函数值（如均方误差）。
反向传播过程 ：
从输出层开始，逐层计算损失对每个参数的偏导数（梯度）。
参数更新 ：
使用梯度下降法根据计算得到的梯度更新网络权重。

数学推导示例（以单个神经元为例）：

设神经元输出为 a = σ(z)，其中 z = w·x + b
损失函数 L 对 w 的偏导：∂L/∂w = (∂L/∂a)(∂a/∂z)(∂z/∂w)
这就是著名的链式法则应用

import numpy as np

# Sigmoid 激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 输入数据和真实标签
X = np.array([[0,0,1], [0,1,1], [1,0,1], [1,1,1]])
y = np.array([[0], [1], [1], [0]])

# 随机初始化权重
np.random.seed(1)
weights0 = 2 * np.random.random((3,4)) - 1  # 输入层到隐藏层
weights1 = 2 * np.random.random((4,1)) - 1  # 隐藏层到输出层

# 训练参数
epochs = 10000
learning_rate = 0.1

# 训练循环
for epoch in range(epochs):
    # 前向传播
    layer0 = X
    layer1 = sigmoid(np.dot(layer0, weights0))
    layer2 = sigmoid(np.dot(layer1, weights1))

    # 计算误差
    layer2_error = y - layer2

    if (epoch % 1000) == 0:
        print(f"Error at epoch {epoch}: {np.mean(np.abs(layer2_error))}")

    # 反向传播
    layer2_delta = layer2_error * sigmoid_derivative(layer2)
    layer1_error = layer2_delta.dot(weights1.T)
    layer1_delta = layer1_error * sigmoid_derivative(layer1)

    # 权重更新
    weights1 += learning_rate * layer1.T.dot(layer2_delta)
    weights0 += learning_rate * layer0.T.dot(layer1_delta)

反向传播算法的普及解决了几个关键问题：