BP神经网络前馈计算：从数学原理到Python实现

1次阅读

没有评论

共计 1677 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络的前馈计算是指数据从输入层流向输出层的过程。这个过程不涉及误差反向传播，仅包含两个核心操作：

加权求和 ：每一层的输入与权重矩阵相乘加上偏置项
激活函数应用 ：对加权和的结果进行非线性变换

数学表达式为：

$$
\mathbf{z}^{(l)} = \mathbf{W}^{(l)}\mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}
$$

$$
\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})
$$

其中 $l$ 表示层数，$\mathbf{W}$ 是权重矩阵，$\mathbf{b}$ 是偏置向量，$f$ 是激活函数。

常见激活函数在前馈计算中的表现差异显著：

Sigmoid：
$$
\sigma(z) = \frac{1}{1+e^{-z}}
$$
输出范围 (0,1)，适合二分类输出层
容易出现梯度消失
ReLU：
$$
ReLU(z) = max(0,z)
$$
计算简单，缓解梯度消失
可能出现神经元 ” 死亡 ” 问题
Tanh：
$$
tanh(z) = \frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}
$$
输出范围 (-1,1)，中心对称
梯度消失问题比 Sigmoid 轻

下面是带维度检查和防溢出的向量化实现：

import numpy as np

def sigmoid(x):
    # 防止数值溢出
    x = np.clip(x, -500, 500)
    return 1 / (1 + np.exp(-x))

def relu(x):
    return np.maximum(0, x)

class NeuralNetwork:
    def __init__(self, layer_sizes, activation='relu'):
        self.weights = []
        self.biases = []
        self.activation = activation

        # 初始化参数
        for i in range(len(layer_sizes)-1):
            # Xavier 初始化
            scale = np.sqrt(2.0/layer_sizes[i])
            self.weights.append(np.random.randn(layer_sizes[i+1], layer_sizes[i]) * scale)
            self.biases.append(np.zeros((layer_sizes[i+1], 1)))

    def forward(self, x):
        # 输入维度检查
        assert x.shape[0] == self.weights[0].shape[1], \
               f"Input dim {x.shape[0]} != {self.weights[0].shape[1]}"

        a = x.reshape(-1, 1)  # 转为列向量

        for i, (w, b) in enumerate(zip(self.weights, self.biases)):
            z = np.dot(w, a) + b

            # 输出层不使用激活函数（根据任务需求调整）if i == len(self.weights)-1:
                a = z
            else:
                a = relu(z) if self.activation == 'relu' else sigmoid(z)

        return a