BP神经网络前馈计算：从数学原理到Python实现

1次阅读

没有评论

共计 1407 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络的前馈计算就像一条数据流水线，数据从输入层开始，经过隐藏层的加工，最终到达输出层。整个过程可以分为三个核心步骤：

加权求和：每一层的输入都会与对应的权重矩阵相乘
偏置添加：给加权后的结果加上一个偏置项
激活函数处理：通过非线性函数转换结果

用数学公式表示就是：

$$ z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)} $$
$$ a^{(l)} = f(z^{(l)}) $$

其中 $l$ 表示层数，$W$ 是权重矩阵，$b$ 是偏置向量，$f$ 是激活函数。

激活函数是神经网络引入非线性的关键。以下是三种最常用的激活函数：

Sigmoid：
$$ \sigma(z) = \frac{1}{1+e^{-z}} $$
输出范围(0,1)，适合二分类问题，但容易导致梯度消失
Tanh：
$$ \tanh(z) = \frac{e^z – e^{-z}}{e^z + e^{-z}} $$
输出范围(-1,1)，梯度比 Sigmoid 更强
ReLU：
$$ ReLU(z) = max(0,z) $$
计算简单，能缓解梯度消失，但可能导致神经元 ” 死亡 ”

下面是完整的向量化实现代码，包含了两种激活函数和数值稳定性处理：

import numpy as np

class NeuralNetwork:
    def __init__(self, layer_sizes, activation='relu'):
        self.weights = [np.random.randn(y, x)/np.sqrt(x) 
                        for x,y in zip(layer_sizes[:-1], layer_sizes[1:])]
        self.biases = [np.random.randn(y, 1) for y in layer_sizes[1:]]
        self.activation = activation

    def sigmoid(self, z):
        # 数值稳定实现
        z = np.clip(z, -500, 500)  # 防止指数爆炸
        return 1/(1+np.exp(-z))

    def relu(self, z):
        return np.maximum(0, z)

    def forward(self, x):
        x = x.reshape(-1, 1)  # 确保输入是列向量
        for w, b in zip(self.weights, self.biases):
            assert x.shape[0] == w.shape[1], "维度不匹配"
            z = np.dot(w, x) + b
            x = self.relu(z) if self.activation == 'relu' else self.sigmoid(z)
        return x