BP神经网络最小二乘法损失函数：从数学原理到Python实现

1次阅读

没有评论

共计 1552 个字符，预计需要花费 4 分钟才能阅读完成。

在神经网络中，损失函数（Loss Function）是衡量模型预测值与真实值差异的关键指标。它直接影响着模型的训练方向和最终性能。对于 BP 神经网络而言，损失函数的选择尤为重要，因为它直接决定了误差如何通过反向传播算法传递回网络各层。

监督学习的核心：通过最小化损失函数来优化模型参数
反向传播的桥梁：损失函数的梯度指导权重更新方向
任务适配性：不同任务（回归 / 分类）需要匹配不同的损失函数

最小二乘法（Least Squares）是一种经典的回归问题损失函数，其数学表达式为：

$$
L = \frac{1}{2N}\sum_{i=1}^N(y_i – \hat{y_i})^2
$$

其中 $y_i$ 是真实值，$\hat{y_i}$ 是预测值，N 是样本数量。系数 1 / 2 是为了后续求导方便而添加的。

输出层梯度计算

$$
\frac{\partial L}{\partial \hat{y_i}} = -(y_i – \hat{y_i})
$$

通过链式法则传递到各层权重

$$
\frac{\partial L}{\partial w} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial w}
$$

最小二乘法：
适用于回归问题
对异常值敏感
梯度与误差成正比
交叉熵：
适用于分类问题
对概率分布更敏感
梯度与误差 / 概率相关

import numpy as np
from typing import Tuple

class LeastSquaresLoss:
    """最小二乘法损失函数实现"""

    @staticmethod
    def forward(y_pred: np.ndarray, y_true: np.ndarray) -> float:
        """
        前向计算损失值

        参数:
            y_pred: 模型预测值，形状(N,)
            y_true: 真实标签值，形状(N,)

        返回:
            标量损失值
        """
        diff = y_pred - y_true
        return 0.5 * np.mean(diff ** 2)

    @staticmethod
    def backward(y_pred: np.ndarray, y_true: np.ndarray) -> np.ndarray:
        """
        计算损失函数关于预测值的梯度

        参数:
            y_pred: 模型预测值，形状(N,)
            y_true: 真实标签值，形状(N,)

        返回:
            梯度值，形状与 y_pred 相同
        """
        return (y_pred - y_true) / len(y_pred)

学习率设置
初始学习率建议范围：0.001-0.1
使用学习率衰减策略：
指数衰减
阶梯衰减
批量大小选择
小批量 (32-256) 通常效果较好
内存允许时可尝试更大批量
正则化方法
L2 正则化防止过拟合
早停法(Early Stopping)

梯度爆炸
现象：权重值急剧增大
解决方案：
梯度裁剪(Gradient Clipping)
权重初始化调整
数值不稳定
现象：出现 NaN 值
解决方案：
添加微小常数(epsilon)
检查输入数据范围

回归任务基准测试
波士顿房价数据集
加州房价数据集
与其他损失函数对比
平均绝对误差(MAE)
Huber 损失

输入标准化
对特征进行归一化
对目标值进行缩放
监控指标
训练损失曲线
验证集表现
模型保存
定期保存检查点
记录超参数配置

最小二乘法作为最基础的回归损失函数，在 BP 神经网络中扮演着重要角色。通过本文的数学推导和 Python 实现，我们可以看到其简洁有效的特性。虽然深度学习中有更多复杂的损失函数，但理解最小二乘法的工作原理对于掌握神经网络训练过程仍然至关重要。在实际应用中，建议从简单模型开始，逐步验证损失函数的效果，再考虑更复杂的变体。

正文完