BP神经网络损失函数优化实战：从理论到TensorFlow实现

1次阅读

共计 1519 个字符，预计需要花费 4 分钟才能阅读完成。

在 BP 神经网络（Backpropagation Neural Network）训练过程中，损失函数的选择直接影响模型收敛速度和最终性能。常见问题包括：

梯度消失 ：使用均方误差（MSE）处理分类任务时，sigmoid 激活函数输出接近饱和区导致梯度值极小
过拟合 ：复杂网络结构中，损失函数未引入正则化项时容易记忆训练数据噪声
收敛震荡 ：固定学习率在损失曲面平坦 / 陡峭区域表现不稳定

损失函数类型	适用任务	优点	缺点
均方误差（MSE）	回归任务	计算简单，导数连续	对异常值敏感，分类任务易梯度消失
交叉熵（Cross-Entropy）	分类任务	梯度更新幅度与误差成正比，避免饱和	需配合 softmax 使用
Huber 损失	鲁棒回归	对异常值不敏感，结合 MSE 和 MAE 优点	需手动设置阈值参数 δ

import tensorflow as tf

class RegularizedCrossEntropy(tf.keras.losses.Loss):
    def __init__(self, l2_factor=0.01):
        super().__init__()
        self.l2_factor = l2_factor  # L2 正则化系数

    @tf.function  # 启用图执行模式加速
    def call(self, y_true, y_pred):
        # 计算交叉熵基础损失
        ce_loss = tf.nn.softmax_cross_entropy_with_logits(y_true, y_pred)

        # 添加 L2 正则项（收集所有可训练权重）l2_loss = tf.add_n([tf.nn.l2_loss(w) for w in self.model.trainable_weights])

        return tf.reduce_mean(ce_loss) + self.l2_factor * l2_loss

# 指数衰减学习率回调
lr_scheduler = tf.keras.callbacks.LearningRateScheduler(
    lambda epoch: 0.001 * 0.95 ** epoch,  # 初始 0.001，每 epoch 衰减 5%
    verbose=1
)

import matplotlib.pyplot as plt

# 训练历史数据可视化
plt.figure(figsize=(10,6))
for loss_name, history in histories.items():
    plt.plot(history.history['val_loss'], label=loss_name)

plt.title('Validation Loss Comparison')
plt.xlabel('Epochs')
plt.ylabel('Loss Value')
plt.legend()
plt.grid(True)