Attention Residuals：重构Transformer残差连接的前沿方法解析与实践

1次阅读

共计 1707 个字符，预计需要花费 5 分钟才能阅读完成。

Transformer 模型凭借其强大的自注意力机制，在自然语言处理等领域取得了巨大成功。然而，随着模型深度的增加，传统的残差连接机制逐渐暴露出一些局限性：

信息衰减问题 ：在深层网络中，信息需要经过多次残差连接传递，每次传递都可能造成部分信息损失
梯度流动效率低 ：传统的残差连接采用固定路径，无法根据输入动态调整信息流动
注意力稀释 ：随着深度增加，自注意力层的关注点可能变得分散，影响模型性能

传统的 Transformer 残差连接采用简单的加法形式：

output = LayerNorm(x + Sublayer(x))

而 Attention Residuals 则引入了动态调整机制：

output = LayerNorm(x + AttentionGate(x) * Sublayer(x))

关键区别在于增加了 AttentionGate 模块，它可以：

根据输入动态计算各位置的重要性权重
对残差路径的信息流进行门控调节
保留重要信息，过滤噪声干扰

Attention Residuals 的核心数学原理可以表示为：

g = σ(W_g · x + b_g)
output = LayerNorm(x + g ⊙ Sublayer(x))

其中：

W_g 和 b_g 是可学习参数
σ 是 sigmoid 激活函数
⊙表示逐元素相乘

这种设计实现了：

动态门控 ：每个位置根据输入内容获得独立权重
信息筛选 ：重要特征获得更大的传递权重
梯度调节 ：反向传播时梯度可以更有效地流动

以下是 PyTorch 实现的关键代码：

import torch
import torch.nn as nn

class AttentionResidual(nn.Module):
    def __init__(self, d_model):
        super().__init__()
        # 门控权重计算层
        self.gate = nn.Sequential(nn.Linear(d_model, d_model),
            nn.Sigmoid())
        self.layer_norm = nn.LayerNorm(d_model)

    def forward(self, x, sublayer):
        """
        参数:
            x: 输入张量 [batch_size, seq_len, d_model]
            sublayer: 子层函数（如多头注意力或前馈网络）返回:
            输出张量 [batch_size, seq_len, d_model]
        """
        # 计算门控权重
        gate_values = self.gate(x)
        # 应用门控残差连接
        residual = gate_values * sublayer(self.layer_norm(x))
        return self.layer_norm(x + residual)

在 GLUE 基准测试上的对比实验结果：