基于c2psa多头自注意力的高并发推理优化方案

1次阅读

没有评论

共计 1460 个字符，预计需要花费 4 分钟才能阅读完成。

在实时 NLP 推理场景中，传统多头注意力 (MHA) 的显存占用随着 batch size 呈二次方增长。具体表现为：

当处理长度为 512 的序列时，单个 attention head 的 QKV 矩阵计算需要 (batch, 512, 64) * (64, 64) 的三次矩阵乘
12-head 的 BERT-base 模型在 batch=32 时，仅 attention 部分就消耗约 3.2GB 显存
实际部署中常出现因 OOM 被迫减小 batch size，导致 GPU 利用率不足的问题

我们对比了三种方案的复杂度（以序列长度 N，head 数 H 为例）：

标准 MHA：
内存：O(HN²)
FLOPs：4HNd² + 2HN²d（d 为 head 维度）
Linformer：
内存：O(HNk)（k 为投影维度）
但需要预训练低秩投影矩阵
c2psa 方案：
内存：O((H/G)N²)（G 为参数共享组大小）
FLOPs：4(H/G)Nd² + 2HN²d/G

实测在 N =512,H=12 时，c2psa(G=4)相比标准 MHA 节省 37.6% 显存。

通过 Grouped Linear 层实现 head 间参数共享：

class GroupedLinear(nn.Module):
    def __init__(self, in_dim, out_dim, groups):
        super().__init__()
        self.weight = nn.Parameter(torch.Tensor(groups, in_dim, out_dim))

    def forward(self, x, group_idx):  # x: [B, L, in_dim]
        return torch.einsum('bli,gio->blo', x, self.weight[group_idx])

采用分层 Top- k 保持关键注意力：

def sparse_attention(q, k, v, topk_ratio=0.3):
    attn = q @ k.transpose(-2,-1)  # [B, H, L, L]
    topk = int(attn.size(-1) * topk_ratio)
    val, idx = attn.topk(topk, dim=-1)
    # 梯度检查点处理
    return checkpoint(self._sparse_matmul, val, idx, v)  

@staticmethod
def _sparse_matmul(val, idx, v):
    return torch.zeros_like(v).scatter_add(-1, idx, val * v)

在 GLUE 测试集上的表现（RTX 3090, batch=32）：