Catanet技术解析：轻量级图像超分中的高效内容感知token聚合方案

1次阅读

共计 1348 个字符，预计需要花费 4 分钟才能阅读完成。

左图：双三次插值放大 3 倍（模糊细节）| 右图：Catanet 超分效果（纹理清晰）
传统超分模型如 ESRGAN 在移动端面临两大痛点：
– 高计算量导致实时性差（旗舰手机推理速度 <5FPS）
– 大模型尺寸难以部署（典型模型 >50MB）

计算复杂度问题 ：标准 Transformer 的 MHA 模块复杂度为 O(HW×d²)，对于 2K 分辨率图像(H=1080,W=1920) 会产生约 4000 亿次运算
冗余特征处理：实验统计显示，超分任务中约 60% 的 token 在相邻层间具有高度相似性
内存访问代价：动态显存分配导致 CUDA 核心利用率不足（实测利用率 <30%）

class TokenSelector(nn.Module):
    def __init__(self, dim, ratio=0.5):
        super().__init__()
        self.gate = nn.Linear(dim, 1)  # [B, N, 1]
        self.ratio = ratio

    def forward(self, x):
        # x: [B, H*W, C]
        scores = self.gate(x).squeeze(-1)  # [B, N]
        _, idx = torch.topk(scores, 
                          int(x.shape[1]*self.ratio),
                          dim=1)  # [B, k]
        return torch.gather(x, 1, idx.unsqueeze(-1).expand(-1,-1,x.shape[-1]))

– 结构说明：
1. 通过 1×1 卷积生成空间注意力图
2. 对高频区域（如边缘）分配更多计算资源
3. 动态调节各通道的聚合权重

模型	参数量(M)	FLOPs(G)	PSNR(dB)
RCAN	15.6	135.2	28.73
ESRGAN	16.7	148.5	29.12
Catanet(Ours)	5.2	42.8	28.91

# 替换 torch.gather 为支持的操作
def exportable_gather(x, idx):
    B, N, C = x.shape
    k = idx.shape[1]
    mask = torch.zeros(B, N).scatter_(1, idx, 1)  # [B, N]
    return (x * mask.unsqueeze(-1)).sum(1) / (mask.sum(1,keepdim=True)+1e-6)

校准数据准备：随机采样 500 张训练集 patch

量化配置：

snpe-dlc-quantize --input_dlc model.dlc \
                --input_list image_list.txt \
                --output_dlc model_quant.dlc \
                --enable_htp

实测性能（骁龙 865）：
FP16: 18ms/ 帧
INT8: 9ms/ 帧