构建All-in-One图像质量增强数据集的实战指南：从数据清洗到模型训练

1次阅读

没有评论

共计 2952 个字符，预计需要花费 8 分钟才能阅读完成。

图像质量增强是计算机视觉中的基础任务，涵盖去噪、超分辨率、去模糊等多个子领域。但在实际开发中，我们常常遇到以下问题：

数据来源分散：不同任务的数据集往往独立存在，难以统一使用
标注标准不统一：不同数据集对 ” 高质量 ” 图像的定义可能存在差异
数据量不平衡：某些任务 (如去噪) 数据丰富，而其他任务 (如去雾) 数据稀缺

这些问题导致训练出的模型泛化能力有限，难以应对真实场景中的复合型图像退化问题。

要构建 All-in-One 数据集，主要有三种技术路线：

数据集直接拼接
优点：实现简单，快速验证
缺点：标注不一致问题未解决
数据重新标注
优点：标注标准完全统一
缺点：人工成本高，不适用于大规模数据
自动化数据清洗 + 半自动标注
优点：平衡效率与质量
缺点：需要设计复杂的清洗逻辑

基于实际项目经验，我们推荐第三种方案，下面详细介绍实现细节。

import cv2
import numpy as np
from PIL import Image
from skimage.metrics import structural_similarity as ssim

# 示例：自动过滤低质量图像对
def filter_image_pairs(clean_img_path, degraded_img_path, min_ssim=0.7):
    """
    过滤质量不达标的图像对
    :param clean_img_path: 干净图像路径
    :param degraded_img_path: 退化图像路径
    :param min_ssim: 最小 SSIM 阈值
    :return: 是否保留该样本
    """
    clean = cv2.imread(clean_img_path)
    degraded = cv2.imread(degraded_img_path)

    # 基本校验
    if clean is None or degraded is None:
        return False
    if clean.shape != degraded.shape:
        return False

    # 转换为灰度计算 SSIM
    clean_gray = cv2.cvtColor(clean, cv2.COLOR_BGR2GRAY)
    degraded_gray = cv2.cvtColor(degraded, cv2.COLOR_BGR2GRAY)

    score = ssim(clean_gray, degraded_gray)
    return score >= min_ssim

我们设计了一个统一的 JSON 标注格式，涵盖多种退化类型：

{
    "image_id": "0001",
    "clean_path": "./data/clean/0001.png",
    "degraded_path": "./data/degraded/0001.png",
    "degradation_type": ["noise", "blur"],
    "degradation_params": {
        "noise_sigma": 25.0,
        "blur_kernel_size": 3,
        "blur_sigma": 1.5
    },
    "resolution": [1024, 768],
    "source_dataset": "Cityscapes"
}

我们采用共享编码器 + 任务特定解码器的结构：

import torch
import torch.nn as nn

class MultiTaskEnhancer(nn.Module):
    def __init__(self):
        super().__init__()
        # 共享编码器
        self.encoder = nn.Sequential(nn.Conv2d(3, 64, 3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(2),
            # 更多层...
        )

        # 任务特定解码器
        self.denoiser_decoder = self._build_decoder()
        self.sr_decoder = self._build_decoder(scale_factor=2)
        self.deblur_decoder = self._build_decoder()

    def _build_decoder(self, scale_factor=1):
        layers = []
        if scale_factor > 1:
            layers.append(nn.Upsample(scale_factor=scale_factor))
        layers.extend([nn.Conv2d(64, 64, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(64, 3, 3, padding=1)
        ])
        return nn.Sequential(*layers)

    def forward(self, x, task_type):
        features = self.encoder(x)
        if task_type == "denoise":
            return self.denoiser_decoder(features)
        elif task_type == "super_resolution":
            return self.sr_decoder(features)
        else:  # deblur
            return self.deblur_decoder(features)

class MultiTaskLoss(nn.Module):
    def __init__(self):
        super().__init__()
        self.mse_loss = nn.MSELoss()
        self.ssim_loss = SSIMLoss()  # 自定义结构相似度损失

    def forward(self, pred, target, task_type):
        mse = self.mse_loss(pred, target)
        ssim = self.ssim_loss(pred, target)

        # 不同任务损失权重
        if task_type == "super_resolution":
            return 0.7 * mse + 0.3 * ssim
        else:
            return 0.5 * mse + 0.5 * ssim

数据集规模对模型效果的影响可以通过以下维度评估：