深度细节网络在单幅图像去雨中的应用：原理与实战解析

1次阅读

没有评论

共计 1991 个字符，预计需要花费 5 分钟才能阅读完成。

雨天拍摄的图像常常因为雨滴和雨纹导致质量下降，这在自动驾驶、视频监控等场景中会造成严重问题。例如，自动驾驶系统可能因为雨纹干扰而误判交通标志，监控摄像头可能因为雨滴遮挡而错过关键画面。

传统解决方法主要基于滤波器设计，比如：

高斯滤波：能平滑雨纹但会模糊图像细节
频域滤波：对规则雨纹有效，但难以处理复杂场景
稀疏编码：效果有所提升但计算成本高

早期的深度学习方法尝试用简单的 CNN 网络直接学习雨纹去除，但存在两个主要问题：

会过度平滑图像，丢失重要细节
对不同类型的雨纹适应性差

深度细节网络 (DDN) 通过创新的多分支设计解决了上述问题。其核心思想可以概括为：” 大网络处理大特征，小网络捕捉小细节 ”。

架构示意图：左侧为主干网络，右侧为细节增强分支

网络包含三个关键组件：

全局特征提取分支：使用较深的 ResNet 结构捕捉图像整体特征
细节恢复模块(Detail Recovery Module)：
采用浅层网络结构
使用 1 ×1 卷积减少计算量
通过跳跃连接保留高频细节
雨纹注意力机制：
自动识别雨纹密集区域
动态调整特征权重

以下是 DDN 的核心实现代码（完整版可在 Colab 运行）：

import torch
import torch.nn as nn

class DetailRecoveryModule(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, 64, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(64, 64, kernel_size=1)  # 使用 1x1 卷积降维
        self.act = nn.ReLU()

    def forward(self, x):
        # 浅层特征提取
        x = self.act(self.conv1(x))
        return self.conv2(x)

class DDN(nn.Module):
    def __init__(self):
        super().__init__()
        # 全局特征分支
        self.global_net = nn.Sequential(nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
        )

        # 细节恢复分支
        self.detail_net = DetailRecoveryModule(3)

    def forward(self, x):
        global_feat = self.global_net(x)
        detail_feat = self.detail_net(x)
        # 特征融合
        return global_feat + detail_feat

模型量化示例（适用于移动端部署）：

# 量化配置
model_fp32 = DDN()
model_fp32.eval()

# 插入量化 / 反量化层
model_fp32.qconfig = torch.quantization.get_default_qconfig('fbgemm')
model_int8 = torch.quantization.convert(model_fp32)

在 Rain100H 数据集上的测试结果：