基于SwinFuse的红外与可见光图像融合技术解析与实战

1次阅读

共计 1753 个字符，预计需要花费 5 分钟才能阅读完成。

红外与可见光图像融合技术在多个领域发挥着重要作用，主要包括：

夜视监控 ：结合红外图像的夜间成像能力和可见光图像的细节信息，提升监控系统的全天候性能
医疗成像 ：融合不同模态的医学图像（如 CT 与红外热成像），辅助疾病诊断
军事侦察 ：增强复杂环境下的目标识别能力

传统 CNN 方法在处理这类任务时面临的主要挑战是难以有效建模长距离依赖关系，这限制了其在全局特征提取方面的表现。

方法	参数量 (M)	PSNR(dB)	推理速度 (FPS)
DenseFuse	12.4	28.7	35
RFN-Nest	9.8	29.1	42
SwinFuse	7.2	30.5	38

class ResidualSwinBlock(nn.Module):
    def __init__(self, dim, num_heads, window_size=8):
        super().__init__()
        # 红外分支
        self.ir_branch = SwinTransformerBlock(dim, num_heads, window_size)
        # 可见光分支
        self.vis_branch = SwinTransformerBlock(dim, num_heads, window_size)
        # 特征融合层
        self.fuse = nn.Conv2d(dim*2, dim, 3, padding=1)

    def forward(self, ir, vis):
        """
        Args:
            ir: [B,C,H,W] 红外特征
            vis: [B,C,H,W] 可见光特征
        Returns:
            fused: [B,C,H,W] 融合后特征
        """
        ir_feat = self.ir_branch(ir)
        vis_feat = self.vis_branch(vis)
        return self.fuse(torch.cat([ir_feat, vis_feat], dim=1))

def align_features(x, offset):
    """可微分图像变形实现特征对齐"""
    # 使用 CUDA 加速的网格采样
    grid = F.affine_grid(offset, x.size(), align_corners=False).cuda()
    return F.grid_sample(x, grid, mode='bilinear', padding_mode='zeros', align_corners=False)

class FusionLoss(nn.Module):
    def __init__(self):
        super().__init__()
        self.grad_loss = GradientLoss()
        self.ssim = SSIM(window_size=11)

    def forward(self, fused, ir, vis):
        grad_loss = self.grad_loss(fused, ir, vis)
        ssim_loss = 1 - 0.5*(self.ssim(fused, ir) + self.ssim(fused, vis))
        return grad_loss + 0.8*ssim_loss

在 TNO 数据集上的客观指标对比（平均值）：