背景介绍 自注意力机制（Self-Attention）是现代自然语言处理（NLP）中的核心技术之一，尤其在 T…

从标量点积到滑动窗口多头自注意力 1. 基础概念：标量点积与注意力分数 自注意力机制的核心是计算查询向量（qu…

在 Transformer 模型中，传统的多头自注意力机制（MSA）虽然表现出色，但在处理长序列时面临着计算复…

背景痛点：为什么需要窗口化自注意力？ 传统多头自注意力（MSA）在处理长度为 $n$ 的序列时，需要计算所有位…

背景介绍 视觉 Transformer（Vision Transformer，简称 ViT）是近年来计算机视觉…