从Zero到Hero：基于Andrej Karpathy的神经网络实现指南

1次阅读

共计 1915 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习领域，虽然现成的框架（如 TensorFlow、PyTorch）极大地简化了神经网络的实现过程，但直接从零开始构建神经网络模型仍然具有不可替代的价值。通过这种方式，开发者可以深入理解神经网络的底层原理，包括前向传播、反向传播、梯度下降等核心概念。Andrej Karpathy 作为深度学习领域的权威专家，他的实现方法以其简洁和高效著称，非常适合作为学习的范本。

在实现神经网络时，开发者通常会面临多种选择。以下是几种常见方法的对比：

使用现成框架（如 PyTorch、TensorFlow）：优点是开发速度快，社区支持丰富；缺点是掩盖了底层细节，不利于深入理解。
从头实现（基于 NumPy）：优点是能够透彻理解每个步骤，便于定制化；缺点是开发周期较长，性能优化需要更多精力。
混合实现 ：部分使用框架，部分自己实现，平衡开发效率和学习深度。

对于本文的目标读者（希望深入理解神经网络的中高级开发者），我们选择基于 NumPy 从头实现，以便更好地掌握底层逻辑。

前向传播是神经网络的核心操作之一，其目标是将输入数据通过网络的每一层，最终得到预测输出。具体步骤如下：

初始化网络参数（权重和偏置）。
将输入数据传递给第一层。
对每一层，计算加权和并应用激活函数。
重复上述步骤直到输出层。

反向传播用于计算损失函数对网络参数的梯度，是训练神经网络的关键。具体步骤如下：

计算输出层的误差。
将误差反向传播到每一层。
根据误差计算梯度并更新参数。

损失函数用于衡量预测输出与真实值之间的差异，常见的包括均方误差（MSE）和交叉熵损失。优化器（如 SGD、Adam）则用于根据梯度更新网络参数。

以下是一个基于 NumPy 的简单神经网络实现，包含关键注释：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = np.tanh(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        m = X.shape[0]
        delta2 = self.a2 - y
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        delta1 = np.dot(delta2, self.W2.T) * (1 - np.power(self.a1, 2))
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0, keepdims=True) / m

        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))