原始模型性能基准 典型 QEM 算法在 ResNet50 架构下的原始性能表现： 参数量 ：25.5M FLO…

1. 背景与痛点 边缘计算场景下，模型轻量化是刚需。以典型的 ResNet50 为例，原始 FP32 模型参数…

背景痛点：边缘端部署的硬约束 QEM(Quantized Embedding Model)算法在云端表现优异，…

背景介绍 自注意力机制（Self-Attention）是现代自然语言处理（NLP）中的核心技术之一，尤其在 T…

从标量点积到滑动窗口多头自注意力 1. 基础概念：标量点积与注意力分数 自注意力机制的核心是计算查询向量（qu…

背景与动机 传统多头注意力 (MHA) 在处理长度为 $n$ 的序列时，由于需要计算所有 query-key …

在 Transformer 模型中，传统的多头自注意力机制（MSA）虽然表现出色，但在处理长序列时面临着计算复…

背景痛点：为什么需要窗口化自注意力？ 传统多头自注意力（MSA）在处理长度为 $n$ 的序列时，需要计算所有位…

传统多头注意力的局限性 Transformer 架构中的标准多头注意力 (MHA) 机制虽然功能强大，但存在一…

背景痛点 在使用 MATLAB 进行超分辨率重建时，VDSR（Very Deep Super Resoluti…