BSD68数据集入门指南：从数据加载到噪声去除实战

1次阅读

没有评论

共计 2801 个字符，预计需要花费 8 分钟才能阅读完成。

BSD68 是图像去噪领域广泛使用的基准数据集，由 68 张自然场景图像组成（50 张测试 +18 张训练）。它的权威性体现在：

标准化测试：所有图像均为 481×321 或 321×481 的灰度图，统一添加标准差 σ =25 的高斯噪声
多样性：包含建筑、植物、人物等丰富场景，避免算法过拟合特定内容
历史沿革：源自 Berkeley Segmentation Dataset，被 300+ 论文引用作为对比基准

实际使用时需注意：

测试集不含 Ground Truth，需与无噪原图计算指标
图像存储为 8 位 PNG，但处理时建议转换为 float32 避免精度损失

推荐使用 Python 3.8+ 环境，关键依赖如下：

pip install numpy==1.21.6  # 数组运算基础库
pip install opencv-python==4.5.5  # 图像 IO 与预处理
pip install scikit-image==0.19.3  # SSIM 计算
pip install bm3d==1.0.9  # 经典去噪算法

版本冲突提醒：

OpenCV 4.6+ 与 NumPy 1.24+ 存在兼容性问题
BM3D 仅支持 Python 3.7-3.9

import cv2
import os

def load_bsd68(data_dir):
    """
    加载 BSD68 数据集
    :param data_dir: 数据集根目录（需含 images/ 和 groundtruth/ 子目录）:return: (noisy_imgs, clean_imgs) 元组
    """noisy_path = os.path.join(data_dir,'images')
    clean_path = os.path.join(data_dir, 'groundtruth')

    noisy_imgs = []
    clean_imgs = []

    for img_name in sorted(os.listdir(noisy_path)):
        # 读取时自动转换为 [0,1] 浮点数
        noisy = cv2.imread(os.path.join(noisy_path, img_name), cv2.IMREAD_GRAYSCALE) / 255.0
        clean = cv2.imread(os.path.join(clean_path, img_name), cv2.IMREAD_GRAYSCALE) / 255.0

        noisy_imgs.append(noisy)
        clean_imgs.append(clean)

    return np.array(noisy_imgs), np.array(clean_imgs)

路径处理建议：

使用 os.path 而非字符串拼接保证跨平台兼容
添加 try-except 处理损坏图像文件

PSNR 公式：

$$PSNR = 10 \cdot \log_{10}\left(\frac{MAX_I^2}{MSE}\right)$$

SSIM 实现：

from skimage.metrics import structural_similarity as ssim

def evaluate(denoised, clean):
    """
    计算 PSNR 和 SSIM 指标
    :param denoised: 去噪后图像（0- 1 范围）:param clean: 干净原图（0- 1 范围）:return: (psnr, ssim) 元组
    """
    mse = np.mean((denoised - clean) ** 2)
    psnr = 10 * np.log10(1.0 / mse)  # 因图像已归一化，MAX_I=1

    ssim_val = ssim(clean, denoised, data_range=1.0)

    return psnr, ssim_val

import bm3d

# 添加高斯噪声（模拟真实场景）def add_noise(img, sigma=25/255):
    noise = np.random.normal(0, sigma, img.shape)
    return np.clip(img + noise, 0, 1)

# BM3D 去噪流程
noisy, clean = load_bsd68('./BSD68')
img = noisy[0]  # 取第一张测试图

denoiser = bm3d.BM3D()
denoiser.stage1_args['sigma'] = 25  # 噪声标准差
result = denoiser.denoise(img)

psnr, ssim_val = evaluate(result, clean[0])
print(f"PSNR: {psnr:.2f}, SSIM: {ssim_val:.4f}")

参数调优建议：

sigma需与实际噪声水平匹配
大尺寸图像可设 stage1_args['block_size']=32 加速

# 错误做法：直接保存 uint8 会导致精度截断
cv2.imwrite('result.png', result*255)  # 错误！# 正确做法：先转 16 位再保存
cv2.imwrite('result.png', (result*65535).astype(np.uint16))

对于 4K 以上大图：

# 使用 memmap 分块处理
fp = np.memmap('temp.dat', dtype='float32', mode='w+', shape=img.shape)
for i in range(0, h, 512):
    for j in range(0, w, 512):
        fp[i:i+512, j:j+512] = process_patch(img[i:i+512, j:j+512])

错误：在[0,255] 范围计算 SSIM（需归一化到[0,1]）
错误：对 RGB 图直接计算灰度 PSNR（应转换 Y 通道）

对比 DnCNN 与 BM3D 的性能：

# DnCNN 示例（需提前安装 TensorFlow）from dncnn import DnCNN

dncnn = DnCNN()
dncnn_result = dncnn.denoise(img)

methods = {
    'BM3D': result,
    'DnCNN': dncnn_result
}

for name, res in methods.items():
    psnr, ssim = evaluate(res, clean[0])
    print(f"{name}: PSNR={psnr:.2f}, SSIM={ssim:.4f}")

测试环境建议配置：