深度学习基础：BP前向传播与反向传播计算过程详解与实现

1次阅读

没有评论

共计 2481 个字符，预计需要花费 7 分钟才能阅读完成。

神经网络是一种模仿生物神经网络结构和功能的数学模型，由多个相互连接的神经元（节点）组成。每个神经元接收输入信号，通过加权求和和激活函数处理，产生输出信号。神经网络的核心在于通过调整连接权重，使得网络能够学习输入数据的特征和模式。

神经元 ：神经网络的基本单元，接收输入信号，进行加权求和并通过激活函数输出。
权重：连接神经元的参数，决定了输入信号的重要性。
偏置：每个神经元的额外参数，用于调整激活函数的输出。
激活函数 ：引入非线性，使得神经网络能够拟合复杂的函数关系。
损失函数 ：衡量网络输出与真实值之间的差距，指导网络的训练。

前向传播是指输入数据通过神经网络的每一层，最终得到输出的过程。具体步骤如下：

输入层接收原始数据，作为第一层的输入。
对于每一层，计算加权和：
$$ z = W \cdot x + b $$
其中，$W$ 是权重矩阵，$x$ 是输入向量，$b$ 是偏置向量。
将加权和通过激活函数 $f$，得到该层的输出：
$$ a = f(z) $$
将当前层的输出作为下一层的输入，重复步骤 2 -3，直到输出层。
输出层的输出即为网络的预测结果。

反向传播是通过计算损失函数对网络参数的梯度，利用梯度下降法更新权重和偏置的过程。具体步骤如下：

计算输出层的误差：
$$ \delta^L = \nabla_a L \odot f'(z^L) $$
其中，$L$ 是损失函数，$\odot$ 表示逐元素乘法。
从输出层开始，逐层反向传播误差：
$$ \delta^l = ((W^{l+1})^T \delta^{l+1} ) \odot f'(z^l) $$
计算每层的权重和偏置的梯度：
$$ \nabla_{W^l} L = \delta^l (a^{l-1})^T $$
$$ \nabla_{b^l} L = \delta^l $$
使用梯度下降法更新权重和偏置：
$$ W^l = W^l – \alpha \nabla_{W^l} L $$
$$ b^l = b^l – \alpha \nabla_{b^l} L $$
其中，$\alpha$ 是学习率。

import numpy as np

# 定义激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 定义损失函数（均方误差）def mse_loss(y_true, y_pred):
    return np.mean((y_true - y_pred) ** 2)

# 初始化网络参数
input_size = 2
hidden_size = 4
output_size = 1

# 随机初始化权重和偏置
W1 = np.random.randn(input_size, hidden_size)
b1 = np.random.randn(hidden_size)
W2 = np.random.randn(hidden_size, output_size)
b2 = np.random.randn(output_size)

# 训练数据
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])

# 训练参数
learning_rate = 0.1
epochs = 10000

# 训练过程
for epoch in range(epochs):
    # 前向传播
    z1 = np.dot(X, W1) + b1
    a1 = sigmoid(z1)
    z2 = np.dot(a1, W2) + b2
    a2 = sigmoid(z2)

    # 计算损失
    loss = mse_loss(y, a2)

    # 反向传播
    delta2 = (a2 - y) * sigmoid_derivative(a2)
    dW2 = np.dot(a1.T, delta2)
    db2 = np.sum(delta2, axis=0)

    delta1 = np.dot(delta2, W2.T) * sigmoid_derivative(a1)
    dW1 = np.dot(X.T, delta1)
    db1 = np.sum(delta1, axis=0)

    # 更新参数
    W2 -= learning_rate * dW2
    b2 -= learning_rate * db2
    W1 -= learning_rate * dW1
    b1 -= learning_rate * db1

    if epoch % 1000 == 0:
        print(f'Epoch {epoch}, Loss: {loss}')

# 测试
z1 = np.dot(X, W1) + b1
a1 = sigmoid(z1)
z2 = np.dot(a1, W2) + b2
a2 = sigmoid(z2)
print('Predictions:', a2)