深入解析ASSA自适应稀疏自注意力即插即用模块：原理与实战应用

1次阅读

没有评论

共计 2115 个字符，预计需要花费 6 分钟才能阅读完成。

在处理长序列数据时，传统注意力机制（如 Transformer 中的自注意力）面临两个主要问题：

计算复杂度高：传统自注意力机制的计算复杂度为 O(n²)，其中 n 是序列长度。当处理长序列（如文档级文本或高分辨率图像）时，这会带来巨大的计算开销。
内存消耗大：注意力矩阵需要存储 n×n 的矩阵，这对于 GPU 内存是一个严峻的挑战，尤其是在训练阶段。

Longformer：采用固定的滑动窗口稀疏模式，适合局部依赖强的任务，但缺乏灵活性。
BigBird：结合局部窗口、全局 token 和随机注意力，但需要手动配置稀疏模式。
ASSA：
动态选择注意力模式，根据输入数据自适应调整
完全即插即用，无需修改模型架构
计算复杂度降低到 O(n√n)

ASSA 的核心思想是通过学习一个稀疏掩码（mask），动态决定哪些 token 对之间需要计算注意力。具体步骤如下：

对每个 query，计算其与所有 key 的粗略相关性分数
根据分数选择 top- k 个最相关的 key，其余置零
只在非零的位置计算精细注意力

import torch
import torch.nn as nn
import torch.nn.functional as F

class ASSA(nn.Module):
    def __init__(self, dim, num_heads, sparsity_ratio=0.25):
        super().__init__()
        self.dim = dim
        self.num_heads = num_heads
        self.sparsity_ratio = sparsity_ratio

        # 定义 query/key/value 投影
        self.qkv_proj = nn.Linear(dim, dim * 3)
        self.out_proj = nn.Linear(dim, dim)

    def forward(self, x):
        B, N, C = x.shape
        qkv = self.qkv_proj(x).reshape(B, N, 3, self.num_heads, C // self.num_heads)
        q, k, v = qkv.unbind(2)  # [B, N, H, D]

        # 计算粗略相关性
        coarse_scores = torch.einsum('bihd,bjhd->bhij', q, k)  # [B, H, N, N]

        # 动态稀疏化
        k = int(N * self.sparsity_ratio)
        topk_scores, topk_indices = coarse_scores.topk(k, dim=-1)

        # 稀疏注意力计算
        sparse_attn = torch.softmax(topk_scores / (C ** 0.5), dim=-1)

        # 聚合 value
        out = torch.zeros_like(v)
        for h in range(self.num_heads):
            out[:, :, h] = torch.index_select(v[:, :, h], 1, topk_indices[:, h]) * sparse_attn[:, h].unsqueeze(-1)

        # 输出投影
        out = out.transpose(1, 2).reshape(B, N, C)
        return self.out_proj(out)

将 ASSA 模块直接替换标准 MultiHeadAttention 即可：

from transformers import BertModel

class ASSABert(BertModel):
    def __init__(self, config):
        super().__init__(config)
        for layer in self.encoder.layer:
            layer.attention.self = ASSA(config.hidden_size, config.num_attention_heads)

我们在不同序列长度下测试了 ASSA 的性能：