深度学习入门：手把手推导bf反向传播算法

1次阅读

共计 1476 个字符，预计需要花费 4 分钟才能阅读完成。

反向传播（Backpropagation）是深度学习中最核心的算法之一，它的主要作用是通过计算损失函数对网络参数的梯度，来指导神经网络权重的更新。简单来说，就是告诉网络 ” 如何调整参数才能减少预测误差 ”。这种方法在图像识别、自然语言处理等任务中被广泛应用。

前向传播是指输入数据通过网络层层传递得到输出的过程。以一个简单的三层网络为例：

输入层：x
隐藏层：h = σ(W₁x + b₁)
输出层：ŷ = W₂h + b₂

其中 σ 是激活函数，常用 Sigmoid 或 ReLU。

我们使用均方误差 (MSE) 作为损失函数：

L = 1/2(y – ŷ)²

核心是链式法则，我们从输出层开始反向计算梯度：

计算损失对输出 ŷ的偏导：∂L/∂ŷ = -(y – ŷ)
计算 ŷ对 W₂的偏导：∂ŷ/∂W₂ = h
所以 W₂的梯度：∂L/∂W₂ = ∂L/∂ŷ * ∂ŷ/∂W₂ = -(y – ŷ)h
同理计算 b₂的梯度：∂L/∂b₂ = -(y – ŷ)

继续反向传播到隐藏层：

计算 ŷ对 h 的偏导：∂ŷ/∂h = W₂
h 对 z(W₁x + b₁)的偏导：∂h/∂z = σ'(z)
所以 W₁的梯度：∂L/∂W₁ = ∂L/∂ŷ * ∂ŷ/∂h * ∂h/∂z * ∂z/∂W₁ = -(y – ŷ)W₂σ'(z)x

import numpy as np

# 定义 Sigmoid 函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化参数
input_size = 2
hidden_size = 3
output_size = 1

# 随机初始化权重
W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)

# 前向传播
def forward(x):
    z1 = np.dot(x, W1)
    h = sigmoid(z1)
    z2 = np.dot(h, W2)
    y_hat = z2
    return y_hat, h

# 反向传播
def backward(x, y, y_hat, h, learning_rate=0.01):
    # 计算输出层梯度
    dL_dyhat = -(y - y_hat)
    dW2 = np.dot(h.T, dL_dyhat)

    # 计算隐藏层梯度
    dL_dh = np.dot(dL_dyhat, W2.T)
    dL_dz1 = dL_dh * sigmoid_derivative(h)
    dW1 = np.dot(x.T, dL_dz1)

    # 更新权重
    W1 -= learning_rate * dW1
    W2 -= learning_rate * dW2