BP神经网络Python实现：从数学原理到生产级代码优化

1次阅读

没有评论

共计 1775 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络的核心在于反向传播算法，其本质是链式求导法则的应用。设损失函数为 $L$，对于第 $l$ 层的权重 $W^l$，梯度计算可表示为：

$$\frac{\partial L}{\partial W^l} = \frac{\partial L}{\partial z^{l+1}} \cdot \frac{\partial z^{l+1}}{\partial W^l}$$

其中 $z^l$ 表示第 $l$ 层的线性输出。具体计算时需先求得输出层误差 $\delta^L$，然后逐层反向传播：

$$\delta^l = (W^{l+1})^T \delta^{l+1} \odot \sigma'(z^l)$$

纯 Python 循环实现与 NumPy 向量化实现的性能差异显著：

import timeit

# 纯 Python 实现（1000 次迭代）timeit.timeit('train_loop_based()', setup='from bp_nn import train_loop_based', number=10)
# 输出：3.21 秒

# NumPy 向量化实现
timeit.timeit('train_vectorized()', setup='from bp_nn import train_vectorized', number=10)
# 输出：1.07 秒

class Layer:
    """可扩展的神经网络层基类"""
    def __init__(self, n_input: int, n_output: int, activation: str='relu'):
        self.weights = np.random.randn(n_input, n_output) * 0.01
        self.bias = np.zeros((1, n_output))
        self.activation = self._get_activation(activation)

    def forward(self, X: np.ndarray) -> np.ndarray:
        self.z = np.dot(X, self.weights) + self.bias
        return self.activation(self.z)

from numba import njit

@njit
def sigmoid(x: float) -> float:
    return 1 / (1 + np.exp(-x))

import h5py

with h5py.File('model_weights.h5', 'w') as f:
    for i, layer in enumerate(model.layers):
        f.create_dataset(f'layer_{i}_weights', data=layer.weights)
        f.create_dataset(f'layer_{i}_bias', data=layer.bias)

def clip_grads(grads: List[np.ndarray], max_norm: float=5.0):
    total_norm = sum(np.sum(g**2) for g in grads) ** 0.5
    clip_coef = max_norm / (total_norm + 1e-6)
    return [g * clip_coef if total_norm > max_norm else g for g in grads]

阶梯式衰减：每 N 个 epoch 衰减一次
余弦退火：平滑调整学习率
热重启：周期性重置学习率

def forward_prop(
    X: np.ndarray, 
    layers: List[Layer]
) -> Tuple[np.ndarray, List[np.ndarray]]:
    """ 执行前向传播

    Args:
        X: 输入数据矩阵 (n_samples, n_features)
        layers: 网络层对象列表

    Returns:
        预测结果和每层激活值
    """
    activations = [X]
    for layer in layers:
        X = layer.forward(X)
        activations.append(X)
    return X, activations

当输入维度达到 $10^6$ 级时，我们需要考虑：
1. 分布式训练架构（如 Horovod）
2. 梯度累积技术
3. 混合精度训练
4. 模型并行拆分策略

正文完