BP神经网络损失函数优化实战：从理论到TensorFlow实现

1次阅读

共计 1565 个字符，预计需要花费 4 分钟才能阅读完成。

在 BP 神经网络训练中，损失函数的选择直接影响模型收敛速度和最终性能。常见问题包括：

梯度消失 ：使用均方误差(MSE) 处理分类任务时，sigmoid 激活函数输出接近 0 / 1 会导致梯度趋近于零
过拟合：复杂网络结构配合不当损失函数易导致训练集表现优异而测试集性能骤降
收敛震荡：固定学习率下，损失函数曲面在不同区域的梯度变化幅度差异会导致优化过程不稳定

损失函数类型	适用场景	优点	缺点
均方误差(MSE)	回归任务	导数连续，易于优化	对异常值敏感，分类任务效果差
交叉熵(Cross-Entropy)	分类任务	避免梯度消失，概率解释性强	需配合 softmax 使用
Huber 损失	鲁棒回归	抗异常值干扰	超参数 δ 需要调优

import tensorflow as tf

class RegularizedCrossEntropy(tf.keras.losses.Loss):
    def __init__(self, l2_factor=0.01):
        super().__init__()
        self.l2_factor = l2_factor  # L2 正则化系数

    @tf.function  # 启用图执行模式加速
    def call(self, y_true, y_pred):
        # 计算交叉熵基础损失
        ce_loss = tf.nn.softmax_cross_entropy_with_logits(y_true, y_pred)
        # 计算 L2 正则项（排除 bias 项）l2_loss = sum(tf.nn.l2_loss(w) for w in self.model.trainable_variables 
                      if 'kernel' in w.name)
        return tf.reduce_mean(ce_loss) + self.l2_factor * l2_loss

lr_scheduler = tf.keras.callbacks.LearningRateScheduler(
    lambda epoch: 0.001 * 0.95**epoch,  # 指数衰减公式
    verbose=1
)

在 MNIST 数据集上对比三种损失函数：

import matplotlib.pyplot as plt

# 训练历史数据可视化
def plot_compare(histories):
    plt.figure(figsize=(10,6))
    for name, history in histories.items():
        plt.plot(history.history['val_loss'], label=name)
    plt.title('Validation Loss Comparison')
    plt.xlabel('Epochs')
    plt.ylabel('Loss')
    plt.legend()
    plt.grid(True)