图像超分辨率Transformer中激活更多像素的技术原理与实现

1次阅读

没有评论

共计 1869 个字符，预计需要花费 5 分钟才能阅读完成。

在传统图像超分辨率任务中，Transformer 模型虽然表现出强大的全局建模能力，但在实际应用中存在一个明显问题：模型往往只激活了部分关键像素，而忽略了其他区域的细节恢复。这会导致重建图像出现局部模糊或纹理丢失的现象。具体表现为：

注意力分布不均：自注意力机制倾向于聚焦高频区域（如边缘），忽视平滑区域
特征融合不足：低层局部信息与高层语义信息结合不充分
计算资源限制：全像素参与计算会带来过高的内存消耗

我们设计了一种混合尺度的窗口注意力（MSWA）机制，包含三个关键改进：

多粒度窗口划分：
同时使用 4×4、8×8、16×16 三种窗口尺寸
小窗口捕获局部细节，大窗口保持全局一致性

跨窗口信息交互：

class CrossWindowAttention(nn.Module):
    def __init__(self, dim, num_heads):
        super().__init__()
        self.qkv = nn.Linear(dim, dim*3)
        self.attn_drop = nn.Dropout(0.1)
        # 其余初始化代码...

    def forward(self, x):
        B, H, W, C = x.shape
        qkv = self.qkv(x).reshape(B, H*W, 3, C)
        # 跨窗口注意力计算...
        return x

像素激活门控：
使用 Sigmoid 生成 0 - 1 的激活权重
动态控制各像素参与计算的程度

我们构建了四阶段特征融合架构：

浅层特征提取：3×3 卷积获取底层纹理
中层特征增强：残差注意力模块
深层语义建模：改进的 Transformer 块

多尺度特征融合：

class FeatureFusion(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1x1 = nn.Conv2d(256, 64, 1)
        self.upsample = nn.PixelShuffle(2)

    def forward(self, low, mid, high):
        fused = torch.cat([low, mid, high], dim=1)
        return self.upsample(self.conv1x1(fused))

以下是核心架构的 PyTorch 实现（完整代码见 GitHub 仓库）：

class SuperResTransformer(nn.Module):
    def __init__(self, upscale=4):
        super().__init__()
        # 浅层特征提取
        self.conv_first = nn.Conv2d(3, 64, 3, padding=1)

        # 主体网络包含 4 个阶段
        self.stage1 = MSWABlock(dim=64, depth=4)
        self.stage2 = nn.Sequential(nn.Conv2d(64, 128, 3, stride=2, padding=1),
            MSWABlock(dim=128, depth=6)
        )
        # 其余阶段定义...

        # 上采样部分
        self.upsample = nn.Sequential(nn.Conv2d(256, 64*(upscale**2), 3, padding=1),
            nn.PixelShuffle(upscale)
        )

    def forward(self, x):
        # 前向传播逻辑
        shallow = self.conv_first(x)
        deep = self.stage4(self.stage3(self.stage2(self.stage1(shallow))))
        return self.upsample(deep) + F.interpolate(x, scale_factor=4)

在 DIV2K 验证集上的测试结果：