BP神经网络前向传播与反向传播动画解析：从数学原理到Python实现

1次阅读

共计 2203 个字符，预计需要花费 6 分钟才能阅读完成。

对于刚接触神经网络的同学来说，反向传播算法中的链式求导就像一道难以跨越的坎。静态的示意图虽然能展示网络结构，但无法直观呈现权重是如何一步步调整的。这就好比只看地图学开车，永远体会不到实际驾驶时方向盘转动的感觉。

我们使用 Matplotlib 的 FuncAnimation 功能，制作了一个完整的训练过程动画。这个动画会：

用颜色渐变展示梯度大小变化（红色表示梯度大，蓝色表示梯度小）
用箭头标注权重更新方向
实时显示损失函数值的变化

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.animation import FuncAnimation

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.1
        self.W2 = np.random.randn(hidden_size, output_size) * 0.1

        # 记录权重变化用于动画
        self.W1_history = []
        self.W2_history = []
        self.loss_history = []

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1)
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        # 反向传播
        m = X.shape[0]

        # 输出层误差
        delta2 = (self.a2 - y) * self.a2 * (1 - self.a2)

        # 隐藏层误差（链式法则在这里！）delta1 = np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1)

        # 计算梯度并更新权重
        dW2 = np.dot(self.a1.T, delta2) / m
        dW1 = np.dot(X.T, delta1) / m

        self.W2 -= learning_rate * dW2
        self.W1 -= learning_rate * dW1

        # 记录历史数据
        self.W1_history.append(self.W1.copy())
        self.W2_history.append(self.W2.copy())

        # 计算并记录损失
        loss = np.mean((self.a2 - y) ** 2)
        self.loss_history.append(loss)

        return loss

def create_animation(nn, X, y, epochs, learning_rate):
    fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 5))

    # 初始化动画元素
    line, = ax2.plot([], [], 'r-')
    ax2.set_xlim(0, epochs)
    ax2.set_ylim(0, max(nn.loss_history))

    def init():
        line.set_data([], [])
        return line,

    def update(frame):
        # 更新权重可视化
        ax1.clear()
        im = ax1.imshow(nn.W1_history[frame], cmap='coolwarm', vmin=-1, vmax=1)

        # 更新损失曲线
        line.set_data(range(frame), nn.loss_history[:frame])

        return line,

    # 训练网络
    for epoch in range(epochs):
        nn.forward(X)
        nn.backward(X, y, learning_rate)

    # 创建动画
    ani = FuncAnimation(fig, update, frames=epochs, init_func=init, blit=True)
    plt.show()
    return ani