BP神经网络正向图：从数学原理到Python实现

1次阅读

共计 1251 个字符，预计需要花费 4 分钟才能阅读完成。

理解 BP 神经网络的正向传播，最好从单层感知机开始。单层感知机的计算非常简单：输入向量 x 乘以权重矩阵 W，加上偏置 b，再通过激活函数得到输出。用数学公式表示就是：

a = W * x + b
y = σ(a)

其中 σ 代表激活函数。这个简单的计算过程，其实就是神经网络正向传播的基础。

当网络结构扩展到多层时，每一层的计算都遵循相同的模式。以一个 3 层网络为例（输入层、隐藏层、输出层），正向传播的过程可以这样表示：

输入层到隐藏层：
```
z1 = W1 * x + b1
a1 = σ(z1)
```
隐藏层到输出层：
```
z2 = W2 * a1 + b2
y = σ(z2)
```

这里的关键是要理解权重矩阵的维度。比如 W1 的维度是 (隐藏层节点数, 输入特征数)，这样才能保证矩阵乘法正确进行。

下面我们用 NumPy 来实现这个正向传播过程：

import numpy as np

# 定义激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def relu(x):
    return np.maximum(0, x)

# 网络参数
input_size = 3
hidden_size = 4
output_size = 1

# 初始化权重和偏置
W1 = np.random.randn(hidden_size, input_size) * 0.01
b1 = np.zeros((hidden_size, 1))
W2 = np.random.randn(output_size, hidden_size) * 0.01
b2 = np.zeros((output_size, 1))

# 正向传播
def forward(x):
    # 输入层到隐藏层
    z1 = np.dot(W1, x) + b1
    a1 = relu(z1)  # 使用 ReLU 激活

    # 隐藏层到输出层
    z2 = np.dot(W2, a1) + b2
    y = sigmoid(z2)  # 使用 Sigmoid 激活

    return y

# 测试
x = np.random.randn(input_size, 1)
y_pred = forward(x)
print(f"预测输出: {y_pred}")

在实现正向传播时，有几个常见问题需要注意：