背景痛点：为什么长序列是 BERT 的噩梦？ 传统的 BERT 多头注意力机制在处理长度为 n 的序列时，计算…

背景痛点：全连接注意力的计算瓶颈 传统 BERT 模型使用的全连接注意力（Full Self-Attentio…