深度学习实战：实现常用激活函数的反向传播头歌及其优化技巧

1次阅读

共计 1375 个字符，预计需要花费 4 分钟才能阅读完成。

在深度学习模型的训练过程中，激活函数的反向传播实现是影响模型收敛速度和性能的关键因素。为什么反向传播如此重要？因为它是神经网络学习的关键机制，通过误差的反向传递来更新权重，使模型逐步优化。然而，激活函数的选择和实现方式会直接影响梯度的大小和传播效率，常见问题包括梯度消失和梯度爆炸。

梯度消失 ：当梯度值过小，权重更新几乎停滞，常见于 Sigmoid 和 Tanh 函数。
梯度爆炸 ：当梯度值过大，导致权重更新剧烈，模型难以收敛，常见于深层网络。

这些问题会严重影响模型的训练效果，因此理解并优化激活函数的反向传播至关重要。

Sigmoid 函数的公式为：

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

其反向传播的梯度推导如下：

def sigmoid_backward(dA, cache):
    """
    dA: 上游传递的梯度
    cache: 前向传播时保存的输入值
    """
    s = sigmoid(cache)
    return dA * s * (1 - s)  # 梯度公式：s*(1-s)

Sigmoid 的梯度范围为 (0, 0.25)，容易导致梯度消失问题。

ReLU 函数的公式为：

def relu(x):
    return np.maximum(0, x)

其反向传播的梯度推导如下：

def relu_backward(dA, cache):
    """
    dA: 上游传递的梯度
    cache: 前向传播时保存的输入值
    """
    dZ = np.array(dA, copy=True)
    dZ[cache <= 0] = 0  # 输入小于等于 0 时梯度为 0
    return dZ

ReLU 的梯度为 0 或 1，计算高效且缓解了梯度消失问题，但可能导致神经元“死亡”。

Tanh 函数的公式为：

def tanh(x):
    return np.tanh(x)

其反向传播的梯度推导如下：

def tanh_backward(dA, cache):
    """
    dA: 上游传递的梯度
    cache: 前向传播时保存的输入值
    """
    t = tanh(cache)
    return dA * (1 - t ** 2)  # 梯度公式：1 - tanh^2(x)

Tanh 的梯度范围为 (0, 1)，比 Sigmoid 稍好，但仍可能面临梯度消失问题。