BP神经网络激活函数：从原理到实战的深度解析与避坑指南

1次阅读

共计 2847 个字符，预计需要花费 8 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是一种通过反向传播算法进行训练的多层前馈神经网络。激活函数（Activation Function）是其核心组件之一，它决定了神经元是否被激活以及如何将输入信号转化为输出信号。

引入非线性：如果没有激活函数，多层神经网络将退化为线性模型，无法解决非线性问题。
决定输出范围：不同的激活函数可以将输出限制在不同的范围内（如 Sigmoid 输出 0 到 1，Tanh 输出 - 1 到 1）。
影响梯度传播：激活函数的导数直接影响反向传播时的梯度大小，进而影响训练效果。

梯度消失（Vanishing Gradient）：当激活函数的导数过小时，梯度在反向传播时会不断衰减，导致深层网络难以训练。
梯度爆炸（Exploding Gradient）：与梯度消失相反，梯度在反向传播时不断放大，导致模型不稳定。
神经元死亡（Dead Neurons）：某些激活函数（如 ReLU）可能导致部分神经元永远不激活，失去作用。

数学表达式：(\sigma(x) = \frac{1}{1 + e^{-x}} )
优点：输出范围在 0 到 1 之间，适合二分类问题。
缺点：容易导致梯度消失，输出非零中心化（输出均值不为 0）。

数学表达式：(\tanh(x) = \frac{e^x – e^{-x}}{e^x + e^{-x}} )
优点：输出范围在 - 1 到 1 之间，零中心化，梯度比 Sigmoid 更强。
缺点：仍然存在梯度消失问题。

数学表达式：(\text{ReLU}(x) = \max(0, x) )
优点：计算简单，缓解梯度消失问题，加速收敛。
缺点：可能导致神经元死亡（负输入时梯度为 0）。

数学表达式 ：(\text{LeakyReLU}(x) = \begin{cases} x & \text{if} x > 0 \ \alpha x & \text{otherwise} \end{cases} )，其中(\alpha) 是一个小的正数（如 0.01）。
优点：解决了 ReLU 的神经元死亡问题。
缺点：需要手动调整(\alpha) 参数。

以下是 Python 实现几种常见激活函数及其导数的代码示例：

import numpy as np

# Sigmoid
def sigmoid(x):
    """
    Sigmoid 激活函数
    Args:
        x: 输入值
    Returns:
        Sigmoid(x)
    """
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    """
    Sigmoid 的导数
    Args:
        x: 输入值
    Returns:
        Sigmoid'(x)"""
    s = sigmoid(x)
    return s * (1 - s)

# Tanh
def tanh(x):
    """
    Tanh 激活函数
    Args:
        x: 输入值
    Returns:
        Tanh(x)
    """
    return np.tanh(x)

def tanh_derivative(x):
    """
    Tanh 的导数
    Args:
        x: 输入值
    Returns:
        Tanh'(x)"""
    return 1 - np.tanh(x) ** 2

# ReLU
def relu(x):
    """
    ReLU 激活函数
    Args:
        x: 输入值
    Returns:
        ReLU(x)
    """
    return np.maximum(0, x)

def relu_derivative(x):
    """
    ReLU 的导数
    Args:
        x: 输入值
    Returns:
        ReLU'(x)"""
    return (x > 0).astype(float)

# LeakyReLU
def leaky_relu(x, alpha=0.01):
    """
    LeakyReLU 激活函数
    Args:
        x: 输入值
        alpha: 负半轴的斜率
    Returns:
        LeakyReLU(x)
    """
    return np.where(x > 0, x, alpha * x)

def leaky_relu_derivative(x, alpha=0.01):
    """
    LeakyReLU 的导数
    Args:
        x: 输入值
        alpha: 负半轴的斜率
    Returns:
        LeakyReLU'(x)"""
    return np.where(x > 0, 1, alpha)

不同激活函数对模型训练的影响主要体现在以下几个方面：