构建all-in-one图像质量增强数据集：从数据清洗到模型训练全流程指南

1次阅读

没有评论

共计 2650 个字符，预计需要花费 7 分钟才能阅读完成。

当前图像质量增强领域面临的核心挑战是数据分散且标注标准不统一。不同研究团队发布的数据集往往专注于单一退化类型（如仅含高斯噪声或仅运动模糊），这导致：

模型泛化能力差：在混合退化场景下表现急剧下降
重复劳动：每个新项目都需要重新收集和标注数据
评估标准混乱：难以横向比较不同论文的成果

传统解决方案需要人工合成退化图像，但存在域偏移问题——合成数据训练的模型在真实场景中表现不佳。我们急需构建能覆盖多种真实退化类型的统一数据集。

有效的 all-in-one 数据集应包含以下典型退化类型及其组合：

采样退化
双三次下采样（模拟分辨率不足）
传感器拜耳阵列（色彩子采样）
噪声退化
高斯噪声（电子噪声）
泊松噪声（光子计数噪声）
椒盐噪声（传感器坏点）
模糊退化
高斯模糊（失焦）
运动模糊（相机抖动）
镜头像差
压缩伪影
JPEG 块效应
视频编码噪声
复合退化
低光照 + 噪声（夜间拍摄）
运动模糊 +JPEG 压缩（手机快照）

建议采用分层抽样策略保证各退化类型的均衡分布。我们的实验表明，当某类退化样本占比低于 5% 时，模型对该类别的处理能力会显著下降。

import os
from PIL import Image

# 示例：从 DIV2K 数据集加载高清图像
def load_div2k(base_path, split='train'):
    img_dir = os.path.join(base_path, f'DIV2K_{split}_HR')
    images = []
    for img_name in sorted(os.listdir(img_dir)):
        if img_name.endswith('.png'):
            img_path = os.path.join(img_dir, img_name)
            try:
                img = Image.open(img_path).convert('RGB')  # 统一转换为 RGB 格式
                if min(img.size) >= 256:  # 过滤过小图像
                    images.append(img)
            except Exception as e:
                print(f'Error loading {img_path}: {e}')
    return images

关键清洗步骤包括：

重复图像检测（感知哈希比对）
内容筛选（NSFW 过滤、文字水印检测）
质量评估（基于 NIQE 等无参考指标）

from imagehash import average_hash
import numpy as np

# 基于感知哈希的重复图像检测
def find_duplicates(image_list, hash_threshold=5):
    hashes = [average_hash(img) for img in image_list]
    duplicates = set()
    for i in range(len(hashes)):
        for j in range(i+1, len(hashes)):
            if hashes[i] - hashes[j] < hash_threshold:
                duplicates.add(j)
    return duplicates

import cv2
import numpy as np

def apply_degradation(img, degradation_type):
    """
    img: PIL Image 对象
    degradation_type: 退化类型字符串
    返回: 退化后的 PIL Image
    """
    img_np = np.array(img)

    if degradation_type == 'gaussian_noise':
        sigma = np.random.uniform(5, 25)
        noise = np.random.normal(0, sigma, img_np.shape).astype(np.uint8)
        degraded = np.clip(img_np + noise, 0, 255)

    elif degradation_type == 'motion_blur':
        size = np.random.randint(5, 15)
        kernel = np.zeros((size, size))
        kernel[int((size-1)/2), :] = 1
        kernel = kernel / size
        degraded = cv2.filter2D(img_np, -1, kernel)

    # 其他退化类型实现...

    return Image.fromarray(degraded)

建议采用课程学习（Curriculum Learning）思路：

初期：单一退化（易学习）
中期：固定组合（如噪声 + 模糊）
后期：随机复合退化（提升泛化性）

PSNR/SSIM：与原始高清图的相似度
NIQE：无参考质量评估
Patch 一致性 ：随机裁剪区域的指标稳定性

建议采用：

专家评分（MOS）
众包平台评估
A/ B 测试框架

# 指标计算示例
from skimage.metrics import peak_signal_noise_ratio

def batch_psnr(clean_imgs, degraded_imgs):
    scores = []
    for clean, deg in zip(clean_imgs, degraded_imgs):
        clean_np = np.array(clean)
        deg_np = np.array(deg)
        scores.append(peak_signal_noise_ratio(clean_np, deg_np))
    return np.mean(scores)