深度学习基础：从数学推导到代码实现 BF反向传播算法

1次阅读

没有评论

共计 1978 个字符，预计需要花费 5 分钟才能阅读完成。

在神经网络中，我们需要通过调整权重来最小化损失函数。这个过程类似于教一个孩子学习：每次犯错后，我们需要告诉孩子错在哪里以及如何改正。反向传播算法就是神经网络中的这个 ” 教学 ” 过程。

前向传播：输入数据通过网络层层传递，最终产生预测结果
反向传播：根据预测结果与真实值的差异，从输出层反向计算各层参数的梯度
权重更新：根据梯度下降算法调整网络参数

让我们从一个简单的 3 层神经网络 (输入层、隐藏层、输出层) 开始推导。假设我们使用均方误差 (MSE) 作为损失函数：

$$ L = \frac{1}{2}(y – \hat{y})^2 $$

对于输出层的权重 $w_{ij}$，我们需要计算 $\frac{\partial L}{\partial w_{ij}}$：

计算损失对输出的偏导：$\frac{\partial L}{\partial \hat{y}} = \hat{y} – y$
计算输出对激活的偏导：$\frac{\partial \hat{y}}{\partial z} = \sigma'(z)$
计算激活对权重的偏导：$\frac{\partial z}{\partial w_{ij}} = a_j$

根据链式法则，最终梯度为：

$$ \frac{\partial L}{\partial w_{ij}} = (\hat{y} – y) \cdot \sigma'(z) \cdot a_j $$

对于隐藏层的权重 $w_{jk}$，我们需要计算 $\frac{\partial L}{\partial w_{jk}}$。这需要反向传播误差：

计算隐藏层误差 $\delta_j$：$\delta_j = \sum_i \delta_i w_{ij} \cdot \sigma'(z_j)$
然后计算权重梯度：$\frac{\partial L}{\partial w_{jk}} = \delta_j \cdot a_k$

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1)
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, output, learning_rate):
        # 反向传播
        error = output - y

        # 输出层梯度
        delta2 = error * self.sigmoid_derivative(output)
        dW2 = np.dot(self.a1.T, delta2)

        # 隐藏层梯度
        error_hidden = np.dot(delta2, self.W2.T)
        delta1 = error_hidden * self.sigmoid_derivative(self.a1)
        dW1 = np.dot(X.T, delta1)

        # 更新权重
        self.W2 -= learning_rate * dW2
        self.W1 -= learning_rate * dW1