基于CG-GAN的单张图像去雾化：原理剖析与实战优化

1次阅读

共计 3061 个字符，预计需要花费 8 分钟才能阅读完成。

图像去雾是计算机视觉中的一个经典问题，传统方法如暗通道先验 (Dark Channel Prior, DCP) 在静态场景下表现尚可，但在动态光照和密集雾霾场景下往往力不从心。

动态光照问题：传统方法假设光照均匀，当场景中存在强光源（如车灯、阳光直射）时，会导致去雾后出现光晕伪影
密集雾霾失效：当大气散射系数 A 接近 1 时，暗通道先验的物理模型假设不再成立
颜色失真：基于物理模型的方法容易产生颜色过饱和或欠饱和现象

方法	PSNR(dB)	SSIM	推理速度(FPS)	参数量(M)
DCP	18.2	0.75	25	–
DehazeNet	21.7	0.83	15	0.8
CycleGAN	23.1	0.87	8	41.3
CG-GAN(ours)	26.4	0.91	12	28.6

采用交叉注意力机制实现雾浓度自适应的特征提取：

class ContextGuide(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.query = nn.Conv2d(in_channels, in_channels//8, 1)
        self.key = nn.Conv2d(in_channels, in_channels//8, 1)
        self.value = nn.Conv2d(in_channels, in_channels, 1)

    def forward(self, x):
        B, C, H, W = x.shape
        q = self.query(x).view(B, -1, H*W)  # (B, C/8, HW)
        k = self.key(x).view(B, -1, H*W)    # (B, C/8, HW)
        v = self.value(x).view(B, -1, H*W)  # (B, C, HW)

        attn = torch.softmax(q @ k.transpose(1,2)/math.sqrt(C//8), dim=-1)
        out = (attn @ v.transpose(1,2)).transpose(1,2).view(B, C, H, W)
        return out + x  # 残差连接

采用多尺度对抗损失 + 感知损失 + 平滑约束：

$$
\mathcal{L}{total} = \lambda}\mathcal{L{adv} + \lambda}\mathcal{L{perc} + \lambda
$$}\mathcal{L}_{tv

其中感知损失使用 VGG16 的 relu2_2 层特征：

# 感知损失实现
vgg = torchvision.models.vgg16(pretrained=True).features[:9]
for param in vgg.parameters():
    param.requires_grad = False

def perceptual_loss(pred, target):
    pred_feat = vgg(pred)
    target_feat = vgg(target)
    return F.l1_loss(pred_feat, target_feat)

使用 PyTorch 的 DistributedDataParallel 实现：

初始化进程组

torch.distributed.init_process_group(
    backend='nccl',
    init_method='env://'
)

包装模型

model = nn.parallel.DistributedDataParallel(
    model,
    device_ids=[local_rank],
    output_device=local_rank
)

使用 DistributedSampler

train_sampler = torch.utils.data.distributed.DistributedSampler(dataset)
dataloader = DataLoader(dataset, sampler=train_sampler)

梯度惩罚：采用 WGAN-GP 的梯度惩罚项

def gradient_penalty(D, real, fake):
    alpha = torch.rand(real.size(0), 1, 1, 1).to(real.device)
    interpolates = (alpha * real + (1-alpha) * fake).requires_grad_(True)
    d_interpolates = D(interpolates)
    gradients = torch.autograd.grad(
        outputs=d_interpolates,
        inputs=interpolates,
        grad_outputs=torch.ones_like(d_interpolates),
        create_graph=True
    )[0]
    return ((gradients.norm(2, dim=1) - 1) ** 2).mean()

学习率调度：使用余弦退火 + 热重启

scheduler = torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(
    optimizer,
    T_0=50,  # 初始周期长度
    T_mult=2  # 周期倍增系数
)

建议采用物理模型驱动的增强策略：

随机大气光 A ∈ [0.7, 1.0]
随机散射系数 β ∈ [0.5, 1.5]
添加传感器噪声：高斯噪声 + 泊松噪声混合

def physical_augment(clear_img):
    # 模拟雾成像物理过程
    A = torch.rand(1)*0.3 + 0.7  # 随机大气光
    beta = torch.rand(1)*1.0 + 0.5  # 随机散射系数

    # 根据大气散射模型生成雾图
    transmission = torch.exp(-beta * depth_map)  # 需要深度图
    hazy = clear_img * transmission + A * (1 - transmission)

    # 添加噪声
    hazy += 0.01*torch.randn_like(hazy)  # 高斯噪声
    hazy = torch.poisson(hazy*255)/255  # 泊松噪声
    return torch.clamp(hazy, 0, 1)

采用 QAT(量化感知训练)方案：

在训练时插入伪量化节点
使用对称量化 + 逐通道缩放
对敏感层保留 FP16 精度

model = quantize_model(
    model,
    quant_config=QConfig(
        activation=MinMaxObserver.with_args(
            dtype=torch.quint8,
            qscheme=torch.per_tensor_affine
        ),
        weight=MinMaxObserver.with_args(
            dtype=torch.qint8,
            qscheme=torch.per_channel_symmetric
        )
    )
)

在 RESIDE 标准测试集上的结果：