三层前馈神经网络实战：从bp神经网络原理到高效实现

1次阅读

共计 1758 个字符，预计需要花费 5 分钟才能阅读完成。

BP（Back Propagation）神经网络是深度学习中最基础的算法之一，它的核心思想是通过误差反向传播来调整网络权重。这种网络结构简单但功能强大，特别适合解决分类和回归问题。作为多层感知机（MLP）的典型代表，三层前馈神经网络展示了神经网络最基础的工作原理，是理解更复杂网络结构的基石。

三层前馈神经网络由输入层、隐藏层和输出层组成，每层之间全连接，信息单向流动。这种结构之所以经典，是因为它被证明可以逼近任何连续函数（根据通用逼近定理）。

输入层：负责接收原始数据，神经元数量等于特征维度
隐藏层：进行特征变换和非线性映射，通常使用 Sigmoid 或 ReLU 激活函数
输出层：产生最终预测结果，神经元数量取决于任务类型（分类任务等于类别数）

import numpy as np

class ThreeLayerNN:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重（使用 Xavier 初始化）self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1/input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1/hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, lr=0.1):
        # 反向传播
        m = X.shape[0]

        # 输出层误差
        dZ2 = self.a2 - y
        dW2 = np.dot(self.a1.T, dZ2) / m
        db2 = np.sum(dZ2, axis=0) / m

        # 隐藏层误差
        dA1 = np.dot(dZ2, self.W2.T)
        dZ1 = dA1 * self.a1 * (1 - self.a1)
        dW1 = np.dot(X.T, dZ1) / m
        db1 = np.sum(dZ1, axis=0) / m

        # 参数更新
        self.W2 -= lr * dW2
        self.b2 -= lr * db2
        self.W1 -= lr * dW1
        self.b1 -= lr * db1

使用上述网络结构处理 MNIST 数据集的关键步骤：