BSD100数据集深度解析：从数据构建到计算机视觉应用实战

1次阅读

共计 2535 个字符，预计需要花费 7 分钟才能阅读完成。

BSD100（Berkeley Segmentation Dataset 100）是超分辨率研究领域的经典基准数据集，源自加州大学伯克利分校的计算机视觉研究项目。作为早期公开的高质量自然图像数据集之一，它在以下方面具有独特价值：

真实场景覆盖：包含城市景观、自然景物、人物等多样化场景，相比合成数据集更具现实意义
学术影响力：被 300+ 超分辨率论文引用，是评估模型泛化能力的 ” 试金石 ”
标准测试集：100 张固定测试图像避免了因随机划分导致的评估偏差

原始数据集采用分层目录结构：

BSD100/
├── HR/            # 高分辨率图像(481x321~321x481)
│   ├── 100075.jpg
│   └── ...
└── LR_bicubic/X2/ # 双三次下采样低分辨率版本
    ├── 100075x2.png
    └── ...

通过分析 100 张图像发现：

分辨率分布：
横向分辨率：321~481 像素
纵向分辨率：321~481 像素
长宽比集中在 1.2~1.5 之间
色彩空间：
全部为 RGB 三通道
平均 PSNR 基准值 28.6dB（双三次插值）

特性	BSD100	DIV2K	Set5
图像数量	100	1000+	5
分辨率范围	321×481	2048×1080	256×256
应用场景	算法验证	模型训练	快速测试
标注类型	仅图像	多任务标注	仅图像

import torch
from torch.utils.data import Dataset, DataLoader
from PIL import Image
import os
import numpy as np

class BSD100Dataset(Dataset):
    def __init__(self, hr_root, lr_root, transform=None):
        self.hr_paths = sorted([os.path.join(hr_root, f) for f in os.listdir(hr_root)])
        self.lr_paths = sorted([os.path.join(lr_root, f) for f in os.listdir(lr_root)])
        self.transform = transform

        # 数据一致性校验
        assert len(self.hr_paths) == len(self.lr_paths), \
               f"HR/LR 数量不匹配: {len(self.hr_paths)} vs {len(self.lr_paths)}"

    def __len__(self):
        return len(self.hr_paths)

    def __getitem__(self, idx):
        hr_img = Image.open(self.hr_paths[idx]).convert('RGB')
        lr_img = Image.open(self.lr_paths[idx]).convert('RGB')

        if self.transform:
            hr_img = self.transform(hr_img)
            lr_img = self.transform(lr_img)

        return lr_img, hr_img

from torchvision import transforms

def get_train_transform():
    return transforms.Compose([transforms.RandomCrop(128),  # 随机裁剪
        transforms.RandomHorizontalFlip(p=0.5),
        transforms.RandomVerticalFlip(p=0.3),
        transforms.ColorJitter(brightness=0.2, contrast=0.2),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5])
    ])

def get_val_transform():
    return transforms.Compose([transforms.CenterCrop(128),  # 中心裁剪
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5])
    ])

预加载策略：
对小尺寸数据集（如 BSD100）可全量加载到内存
使用 torch.cuda.empty_cache() 定期清理显存

多进程加速：

train_loader = DataLoader(
    dataset,
    batch_size=16,
    num_workers=4,  # 推荐设置为 CPU 核心数的 60-70%
    pin_memory=True,
    persistent_workers=True
)

优化方式	耗时(100iter)	GPU 显存占用
单进程	58.3s	3.2GB
4 进程 +pin	21.7s	3.5GB
预加载 + 4 进程	18.2s	5.1GB

尺寸对齐：

def align_size(hr, lr, scale=2):
    h, w = hr.size
    lr_h, lr_w = lr.size

    # 确保 HR 是 LR 的整数倍
    if h % scale != 0 or w % scale != 0:
        hr = hr.crop((0, 0, w - w%scale, h - h%scale))

    return hr, lr