深度学习革命：从Hinton的2006年突破看梯度消失问题的本质解决

1次阅读

共计 1902 个字符，预计需要花费 5 分钟才能阅读完成。

在 2006 年之前，神经网络（尤其是深层网络）的训练长期受困于梯度消失问题（Vanishing Gradient Problem）。当使用 Sigmoid 激活函数时，其导数 $\sigma'(x) = \sigma(x)(1-\sigma(x))$ 的最大值仅为 0.25，这意味着在反向传播过程中，梯度会随着网络层数的增加呈指数级衰减。

相比之下，ReLU（Rectified Linear Unit）激活函数 $f(x) = max(0,x)$ 的梯度在正区间恒为 1，虽缓解了梯度消失，但无法解决深层网络中权重初始化敏感的问题。Hinton 团队在 2006 年提出的方案，从根本上改变了深度神经网络的训练范式。

受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）是一种双层概率图模型，包含可见层（visible layer）和隐藏层（hidden layer）。其核心创新在于：

对比散度算法（Contrastive Divergence）：通过 k 步 Gibbs 采样近似计算梯度，避免了直接计算配分函数的难题
能量函数设计：$E(v,h) = -b^Tv – c^Th – v^TWh$ 其中 $W$ 是层间权重，$b,c$ 为偏置
层间解耦训练：每层 RBM 独立训练后，下层隐藏层作为上层可见层输入，实现逐层特征提取

PyTorch 实现 RBM 的核心代码如下：

class RBM(nn.Module):
    def __init__(self, visible_dim, hidden_dim):
        super().__init__()
        self.W = nn.Parameter(torch.randn(hidden_dim, visible_dim) * 0.1)
        self.v_bias = nn.Parameter(torch.zeros(visible_dim))
        self.h_bias = nn.Parameter(torch.zeros(hidden_dim))

    def forward(self, v):
        # CD- k 训练的核心步骤
        h_prob = torch.sigmoid(F.linear(v, self.W, self.h_bias))
        h_sample = torch.bernoulli(h_prob)
        v_recon = torch.sigmoid(F.linear(h_sample, self.W.t(), self.v_bias))
        return v_recon, h_prob

深度信念网络（Deep Belief Network, DBN）通过堆叠多个 RBM 实现深层架构，其训练过程分为两个阶段：

预训练阶段（无监督）：
自底向上逐层训练 RBM
固定当前层参数后，将其输出作为下一层的输入
采用对比散度更新参数：$\Delta W = \epsilon(\langle v h^T \rangle_{data} – \langle v h^T \rangle_{recon})$
微调阶段（有监督）：
在顶层添加分类器（如 Softmax）
使用反向传播进行端到端微调
采用动量优化器加速收敛