BP神经网络与前馈神经网络：新手入门指南与核心差异解析

1次阅读

共计 2008 个字符，预计需要花费 6 分钟才能阅读完成。

神经网络是模仿生物神经元连接方式的计算模型，由输入层、隐藏层和输出层组成。前馈神经网络（Feedforward Neural Network, FNN）是最基础的神经网络类型，而 BP 神经网络（Backpropagation Neural Network）是前馈神经网络的一种训练方法。两者的核心区别在于训练机制而非结构。

单向传播 ：数据从输入层流向输出层，没有反馈连接
固定结构 ：层间连接权重在训练前初始化后保持不变
典型结构 ：
全连接层（Dense Layer）
卷积层（CNN 变体）
池化层

双向计算 ：包含前向传播和反向传播两个阶段
动态调整 ：通过梯度下降算法更新权重
核心组件 ：
损失函数（Loss Function）
优化器（Optimizer）
激活函数（Activation Function）

BP 算法的数学本质是链式求导法则的应用。以均方误差损失函数为例：

$$
\frac{\partial E}{\partial w_{ij}} = \frac{\partial E}{\partial o_j} \cdot \frac{\partial o_j}{\partial net_j} \cdot \frac{\partial net_j}{\partial w_{ij}}
$$

其中：
– $E$ 是损失函数
– $w_{ij}$ 是神经元 i 到 j 的连接权重
– $o_j$ 是神经元 j 的输出
– $net_j$ 是神经元 j 的净输入

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 权重初始化
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate=0.1):
        # 反向传播
        m = X.shape[0]

        # 输出层误差
        delta2 = (self.a2 - y) * self.a2 * (1 - self.a2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        # 隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0) / m

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1