BP神经网络实战：从梯度消失到模型优化的解决方案

1次阅读

共计 1850 个字符，预计需要花费 5 分钟才能阅读完成。

当使用 sigmoid 激活函数时，其导数 σ'(x)=σ(x)(1-σ(x)) 在输入值较大或较小时会进入饱和区（输出接近 0 或 1），导致导数趋近于 0。在反向传播过程中，梯度需要逐层乘以这些微小导数，使得深层网络的权重更新量呈指数级衰减。最终导致网络前几层的参数几乎无法被有效更新，这种现象就是梯度消失。

批量归一化 (BN)：
通过规范化每层的输入分布，缓解内部协变量偏移
保持激活值在非饱和区，特别适合深层全连接网络
需注意验证阶段使用移动平均统计量
残差连接 ：
通过跳跃连接建立梯度高速公路
在 ResNet 等超深网络中效果显著
会增加约 20% 的计算开销
梯度裁剪 ：
直接限制梯度最大值
适用于 RNN 等时序模型训练
阈值需要反复试验调整

import tensorflow as tf
from tensorflow.keras.layers import Dense, BatchNormalization
from tensorflow.keras.callbacks import EarlyStopping, LearningRateScheduler

# 自定义学习率衰减（余弦退火）def cosine_decay(epoch):
    initial_lr = 0.001
    decay_steps = 100
    return initial_lr * 0.5 * (1 + tf.cos(epoch * 3.1415926 / decay_steps))

# 模型构建
def build_model(with_bn=True):
    model = tf.keras.Sequential([tf.keras.layers.Flatten(input_shape=(28, 28)),
        Dense(256, activation='relu'),
        BatchNormalization() if with_bn else tf.keras.layers.Lambda(lambda x: x),
        Dense(128, activation='relu'),
        BatchNormalization() if with_bn else tf.keras.layers.Lambda(lambda x: x),
        Dense(10, activation='softmax')
    ])
    return model

# 训练配置
model = build_model()
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

callbacks = [EarlyStopping(patience=5, restore_best_weights=True),
    LearningRateScheduler(cosine_decay),
    tf.keras.callbacks.TensorBoard(log_dir='./logs')
]

# 数据加载
(x_train, y_train), _ = tf.keras.datasets.mnist.load_data()
x_train = x_train / 255.0

# 开始训练
history = model.fit(x_train, y_train, 
                    batch_size=128,
                    epochs=50,
                    validation_split=0.2,
                    callbacks=callbacks)