BP前馈神经网络原理详解：从数学推导到TensorFlow实战

1次阅读

共计 2152 个字符，预计需要花费 6 分钟才能阅读完成。

前馈神经网络（Feedforward Neural Network）是深度学习的基础架构，在计算机视觉（CV）和自然语言处理（NLP）领域占据核心地位。从图像分类到机器翻译，其多层感知机结构能有效学习非线性特征表示。随着 Transformer 等新架构兴起，前馈网络作为基本组件仍发挥着不可替代的作用。

神经网络第 $l$ 层的输出可表示为：
$$\mathbf{a}^l = \sigma(\mathbf{W}^l \mathbf{a}^{l-1} + \mathbf{b}^l)$$
其中 $\sigma$ 是激活函数（如 ReLU），$\mathbf{W}^l$ 为权重矩阵，$\mathbf{b}^l$ 为偏置向量。以 MNIST 分类为例，输入层（784 维）到首个隐藏层（256 维）的运算实质是 784×256 的矩阵乘法。

通过链式法则计算损失函数 $L$ 对权重 $\mathbf{W}^l$ 的梯度：
$$
\frac{\partial L}{\partial \mathbf{W}^l} = \frac{\partial L}{\partial \mathbf{a}^l} \odot \sigma'(\mathbf{z}^l) \cdot (\mathbf{a}^{l-1})^T
$$
权重更新采用梯度下降：
$$
\mathbf{W}^l \leftarrow \mathbf{W}^l – \eta \frac{\partial L}{\partial \mathbf{W}^l}
$$
其中 $\eta$ 为学习率，$\odot$ 表示逐元素相乘。

import tensorflow as tf

model = tf.keras.Sequential([tf.keras.layers.Dense(256, activation='relu', input_shape=(784,)),
    tf.keras.layers.Dropout(0.3),
    tf.keras.layers.Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 自定义回调记录训练耗时
class TimeCallback(tf.keras.callbacks.Callback):
    def on_epoch_begin(self, epoch, logs=None):
        self.epoch_time_start = time.time()
    def on_epoch_end(self, epoch, logs=None):
        print(f"Epoch {epoch} 耗时: {time.time()-self.epoch_time_start:.2f}s")

import keras_tuner as kt

def build_model(hp):
    model = tf.keras.Sequential()
    model.add(tf.keras.layers.Dense(units=hp.Int('units', min_value=128, max_value=512, step=64),
        activation=hp.Choice('activation', ['relu', 'tanh'])))
    model.add(tf.keras.layers.Dense(10, activation='softmax'))
    model.compile(optimizer=tf.keras.optimizers.Adam(hp.Float('learning_rate', 1e-4, 1e-2, sampling='log')),
        loss='sparse_categorical_crossentropy')
    return model

tuner = kt.RandomSearch(build_model, objective='val_accuracy', max_trials=10)

optimizer = tf.keras.optimizers.Adam(clipvalue=1.0)  # 经验值 0.5-5.0

tf.keras.callbacks.EarlyStopping(
    monitor='val_loss',
    patience=5,
    restore_best_weights=True)

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
quantized_model = converter.convert()