BSD68数据集入门指南：从数据加载到噪声去除实战

1次阅读

没有评论

共计 3374 个字符，预计需要花费 9 分钟才能阅读完成。

BSD68 是图像去噪领域的黄金基准测试集，包含 68 张自然场景灰度图像（实际常用 50 张测试图），所有图像尺寸统一为 481×321 像素。这个数据集的特点在于：

图像内容涵盖城市景观、自然风光、人物特写等多样化场景
所有图像均为 8 -bit PNG 格式，灰度值范围 0 -255
标准测试时添加标准差 σ =25 的高斯白噪声（常用噪声模型）

为什么选择 BSD68？三个核心优势：

公认权威：近 5 年 CVPR/ICCV 去噪论文 90% 使用该基准
规模适中：50 张测试图在保证统计意义的同时便于快速验证
挑战性：包含大量纹理复杂区域，能有效暴露算法缺陷

推荐使用 Python 3.8+ 环境，关键依赖及版本要求：

# requirements.txt
numpy==1.21.6    # 数组运算基础库
opencv-python==4.6.0.66  # 图像 IO 与预处理
scikit-image==0.19.3  # 评估指标计算
bm3d==1.0.9      # 经典去噪算法实现

安装时需特别注意：

OpenCV 版本 >4.5 时需注意 imread 灰度读取 flag 变更
BM3D 库在 Windows 下需要预先安装 VS Build Tools

import os
import cv2
import numpy as np

def load_bsd68(root_path):
    """
    安全加载 BSD68 数据集
    :param root_path: 数据集根目录（需含 /BSDS68/test）:return: (clean_imgs, noisy_imgs)
    """test_dir = os.path.join(root_path,'BSDS68','test')
    if not os.path.exists(test_dir):
        raise FileNotFoundError(f'BSD68 目录结构异常：{test_dir}')

    clean_imgs = []
    for i in range(1, 51):
        img_path = os.path.join(test_dir, f'{i}.png')
        img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
        if img is None:
            raise IOError(f'图像加载失败：{img_path}')
        clean_imgs.append(img.astype(np.float32)/255.)  # 归一化

    # 添加高斯噪声（σ=25 对应 0.1 的归一化标准差）noisy_imgs = [img + np.random.normal(0, 0.1, img.shape) for img in clean_imgs]
    return clean_imgs, noisy_imgs

PSNR（峰值信噪比）计算公式：

$$\text{PSNR} = 10 \cdot \log_{10}\left(\frac{MAX_I^2}{\text{MSE}}\right)$$

SSIM（结构相似性）实现要点：

from skimage.metrics import peak_signal_noise_ratio, structural_similarity

def evaluate(clean, denoised):
    """
    计算 PSNR 和 SSIM
    :param clean: 原始干净图像（0- 1 范围）:param denoised: 去噪结果（相同范围）:return: (psnr, ssim)
    """
    # 转换到 0 -255 范围（PSNR 标准计算范围）clean_255 = (clean * 255).clip(0, 255).astype(np.uint8)
    denoised_255 = (denoised * 255).clip(0, 255).astype(np.uint8)

    psnr = peak_signal_noise_ratio(clean_255, denoised_255)
    ssim = structural_similarity(clean_255, denoised_255)
    return psnr, ssim

import bm3d

def denoise_bm3d(noisy_img, sigma=25):
    """
    BM3D 去噪核心调用
    :param noisy_img: 含噪图像（0- 1 范围）:param sigma: 噪声标准差（0-255 范围值）:return: 去噪结果
    """
    # 注意输入输出范围转换
    noisy_255 = (noisy_img * 255).clip(0, 255).astype(np.uint8)
    denoised = bm3d.bm3d(noisy_255, sigma_psd=sigma)
    return denoised.astype(np.float32)/255.

参数调优建议：

sigma_psd：实际噪声水平的 1.1-1.3 倍效果更佳
stage_arg：设置 BM3DStages.HARD_THRESHOLDING 可加速但质量稍降

当处理医学影像等 16bit 图像时，直接使用 OpenCV 会导致数据截断。正确做法：

# 错误做法（数据丢失）img = cv2.imread('16bit.tif', cv2.IMREAD_GRAYSCALE)

# 正确做法
import tifffile
img = tifffile.imread('16bit.tif')

处理大尺寸图像时，推荐使用内存映射：

def load_large_image(path):
    """使用内存映射加载超大图像"""
    return np.load(path, mmap_mode='r')

常见错误包括：

未统一图像范围直接计算 PSNR
对彩色图像直接计算灰度 SSIM
使用非对齐图像比较（需先注册）

import torch
from models import DnCNN  # 需预先实现

def denoise_dncnn(noisy_img, model_path):
    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    model = DnCNN().to(device)
    model.load_state_dict(torch.load(model_path))

    # 输入预处理
    input_tensor = torch.from_numpy(noisy_img).unsqueeze(0).unsqueeze(0).to(device)
    with torch.no_grad():
        output = model(input_tensor)
    return output.squeeze().cpu().numpy()

def benchmark(algorithms):
    """
    算法对比框架
    :param algorithms: {'BM3D': bm3d_fn, 'DnCNN': dncnn_fn}
    """clean, noisy = load_bsd68('./data')
    results = {}

    for name, func in algorithms.items():
        psnrs, ssims = [], []
        for n_img, c_img in zip(noisy, clean):
            denoised = func(n_img)
            psnr, ssim = evaluate(c_img, denoised)
            psnrs.append(psnr)
            ssims.append(ssim)
        results[name] = {'PSNR_mean': np.mean(psnrs),
            'SSIM_mean': np.mean(ssims)
        }
    return results

测试环境建议标注（示例）：