构建all-in-one图像质量增强数据集：从数据清洗到模型训练全流程指南

1次阅读

没有评论

共计 1744 个字符，预计需要花费 5 分钟才能阅读完成。

图像质量增强任务（如超分辨率、去噪、去模糊等）的性能高度依赖训练数据的质量。然而，当前开发者面临以下主要问题：

数据分散 ：不同任务（如去噪和超分辨率）通常使用不同的数据集，导致模型难以同时处理多种退化类型
标注不一致 ：各数据集的退化参数（如噪声水平、模糊核）定义不统一，影响模型泛化能力
质量参差 ：公开数据集中常混入压缩伪影、错误的配对样本等问题数据

构建 all-in-one 数据集需考虑以下退化类型：

低分辨率 ：双三次下采样、随机缩放因子（2x-8x）
噪声污染 ：高斯噪声、泊松噪声、混合噪声
模糊退化 ：高斯模糊、运动模糊、散焦模糊
压缩伪影 ：JPEG 压缩（质量因子 10-90）
复合退化 ：上述类型的随机组合（如模糊 + 噪声）

推荐组合使用以下公开数据集：
– DIV2K（高质量基准）
– Flickr2K（多样性补充）
– RealSR（真实退化样本）
– SIDD（真实噪声数据）

import cv2
import numpy as np
from skimage.metrics import structural_similarity as ssim

def validate_image_pair(hr_path, lr_path):
    """验证高低分辨率图像是否有效配对"""
    hr = cv2.imread(hr_path)
    lr = cv2.imread(lr_path)

    # 基础检查
    if hr is None or lr is None:
        return False
    if hr.shape[0] < 256 or hr.shape[1] < 256:
        return False

    # 内容一致性检查
    lr_resized = cv2.resize(lr, (hr.shape[1], hr.shape[0]))
    ssim_score = ssim(hr, lr_resized, multichannel=True)
    return ssim_score > 0.7  # 排除明显不匹配的样本

def apply_degradation(hr_img):
    """应用随机退化组合"""
    # 随机选择退化类型
    degradation_type = np.random.choice(['blur', 'noise', 'downsample', 'composite'])

    if degradation_type == 'blur':
        kernel_size = np.random.randint(3, 15)
        return cv2.GaussianBlur(hr_img, (kernel_size, kernel_size), 0)

    elif degradation_type == 'noise':
        noise_type = np.random.choice(['gaussian', 'poisson'])
        if noise_type == 'gaussian':
            sigma = np.random.uniform(5, 25)
            noise = np.random.normal(0, sigma, hr_img.shape)
            return np.clip(hr_img + noise, 0, 255).astype(np.uint8)
        # 其他噪声类型实现...

    # 其他退化类型实现...