BSDS500图像分割数据集下载与预处理实战指南

1次阅读

共计 3369 个字符，预计需要花费 9 分钟才能阅读完成。

BSDS500（Berkeley Segmentation Dataset 500）是图像分割领域的经典基准数据集，包含 500 张自然图像（200 训练 +100 验证 +200 测试），每张图像提供 5 -10 个人工标注的语义边界。该数据集因其标注质量和多样性，长期用于评估边缘检测、图像分割算法的泛化能力。

实际使用中开发者常遇到以下问题：

下载困难：官方 Berkeley 服务器位于国外，直接下载速度慢且易中断
格式混杂：原始数据包含.mat、.jpg、.png 多种格式，需手动转换
预处理复杂：边界标注存储为 MATLAB 矩阵，需特殊解析方法
框架适配：不同深度学习框架需要不同的数据加载方式

使用 Python 的 requests 库实现带断点续传的下载器，关键代码如下：

import os
import requests
from tqdm import tqdm

def download_file(url, save_path, chunk_size=1024):
    """支持断点续传的下载函数"""
    try:
        headers = {}
        if os.path.exists(save_path):
            # 获取已下载部分大小
            downloaded = os.path.getsize(save_path)
            headers = {'Range': f'bytes={downloaded}-'}

        res = requests.get(url, headers=headers, stream=True, timeout=30)
        res.raise_for_status()

        # 追加模式写入（续传）或新建文件
        mode = 'ab' if headers else 'wb'
        with open(save_path, mode) as f, tqdm(
            unit='B', unit_scale=True,
            total=int(res.headers.get('content-length', 0)) + (downloaded if headers else 0)
        ) as pbar:
            for chunk in res.iter_content(chunk_size=chunk_size):
                if chunk:  # 过滤 keep-alive 包
                    f.write(chunk)
                    pbar.update(len(chunk))
    except Exception as e:
        print(f"下载失败: {e}")
        return False
    return True

对于 400MB+ 的完整数据集，建议使用线程池加速：

from concurrent.futures import ThreadPoolExecutor

BASE_URL = "http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/BSR/BSR_bsds500.tgz"

def download_bsds500(max_workers=4):
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        executor.submit(download_file, BASE_URL, "BSR_bsds500.tgz")

原始压缩包解压后需规范目录：

BSDS500/
├── train/
│   ├── images/
│   └── labels/
├── val/
│   ├── images/
│   └── labels/
└── test/
    ├── images/
    └── labels/

标注格式转换

使用 scipy.io 解析 MATLAB 标注文件并转换为 PNG 掩码：

import numpy as np
import scipy.io
from PIL import Image

def mat_to_mask(mat_path, output_path):
    """将.mat 边界标注转换为二值掩码"""
    mat = scipy.io.loadmat(mat_path)
    boundaries = mat['groundTruth'][0]

    # 合并多人标注（逻辑或操作）combined_mask = np.zeros_like(boundaries[0][0][0][0])
    for ann in boundaries:
        combined_mask = np.logical_or(combined_mask, ann[0][0][0])

    Image.fromarray(combined_mask.astype(np.uint8)*255).save(output_path)

图像归一化

统一调整图像尺寸并标准化像素值：

import cv2

def preprocess_image(img_path, target_size=(320, 480)):
    """图像尺寸归一化与标准化"""
    img = cv2.imread(img_path)
    img = cv2.resize(img, target_size[::-1])  # OpenCV 使用(width,height)
    img = img.astype(np.float32) / 255.0  # [0,1]范围
    return img

SSL 证书错误 ：添加verify=False 参数（仅测试环境）
连接超时 ：适当增加timeout 值（建议 30 秒以上）

校验文件完整性：下载完成后检查 MD5 值：

import hashlib

def check_md5(file_path, expected_md5):
    with open(file_path, 'rb') as f:
        return hashlib.md5(f.read()).hexdigest() == expected_md5

MATLAB 索引从 1 开始，需注意与 Python 的 0 起始区别
不同标注者可能存在差异，建议合并多人标注
边界标注为稀疏矩阵，直接可视化需乘以 255

from torch.utils.data import Dataset

class BSDS500Dataset(Dataset):
    def __init__(self, img_dir, label_dir, transform=None):
        self.img_paths = sorted(Path(img_dir).glob("*.jpg"))
        self.label_paths = sorted(Path(label_dir).glob("*.png"))
        self.transform = transform

    def __getitem__(self, idx):
        img = Image.open(self.img_paths[idx]).convert('RGB')
        mask = Image.open(self.label_paths[idx])
        if self.transform:
            img, mask = self.transform(img, mask)
        return img, mask

def load_and_preprocess(img_path, label_path):
    img = tf.io.read_file(img_path)
    img = tf.image.decode_jpeg(img, channels=3)
    img = tf.image.resize(img, [320, 480]) / 255.0

    mask = tf.io.read_file(label_path)
    mask = tf.image.decode_png(mask, channels=1)
    mask = tf.image.resize(mask, [320, 480]) / 255.0
    return img, mask

本方案的核心思路可迁移到其他数据集的获取与预处理：