BSDS500图像分割数据集下载与预处理实战指南

1次阅读

共计 2614 个字符，预计需要花费 7 分钟才能阅读完成。

BSDS500（Berkeley Segmentation Dataset 500）是图像分割领域的经典基准数据集，包含 500 张自然图像（200 训练 +100 验证 +200 测试），每张图像提供 5 -10 个人工标注的分割边界。该数据集因其标注质量高、场景多样，常被用于评估边缘检测和图像分割算法的性能。

下载困难：官方 Berkeley 服务器位于国外，国内直接下载速度极慢且易中断
格式复杂：原始数据包含.mat、.png 多种格式，不同标注文件需要特殊解析
预处理繁琐：图像尺寸不统一（481×321 或 321×481），边界标注需要转换为模型可读的掩码

使用 Python 的 requests 库实现可靠下载，包含以下关键功能：

import os
import requests
from tqdm import tqdm

def download_file(url, save_path, chunk_size=1024):
    """支持断点续传的下载函数"""
    try:
        # 检查已下载部分
        if os.path.exists(save_path):
            file_size = os.path.getsize(save_path)
            headers = {'Range': f'bytes={file_size}-'}
            mode = 'ab'  # 追加模式
        else:
            file_size = 0
            headers = {}
            mode = 'wb'

        # 发起下载请求
        response = requests.get(url, headers=headers, stream=True)
        response.raise_for_status()

        # 进度条显示
        total_size = int(response.headers.get('content-length', 0)) + file_size
        with open(save_path, mode) as f, tqdm(
            total=total_size, unit='B',
            unit_scale=True, desc=os.path.basename(save_path)
        ) as pbar:
            for chunk in response.iter_content(chunk_size=chunk_size):
                if chunk:
                    f.write(chunk)
                    pbar.update(len(chunk))
    except Exception as e:
        print(f"下载失败: {e}")
        raise

# 示例下载链接（实际使用时替换为官方 URL）download_file(
    "https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/BSR/BSR_bsds500.tgz",
    "BSDS500.tgz"
)

解压与目录结构整理
原始压缩包包含三个子集：train、val、test

建议按以下结构组织：

BSDS500/
├── train/
│   ├── images/
│   └── masks/
├── val/
│   ├── images/
│   └── masks/
└── test/

标注格式转换（MATLAB .mat → PNG）

import h5py
import numpy as np
from PIL import Image

def convert_mat_to_png(mat_path, output_dir):
    """将.mat 标注转为 PNG 格式"""
    try:
        data = h5py.File(mat_path, 'r')

        # 提取所有标注（每张图有多个标注）for i in range(len(data['groundTruth'][0])):
            boundary = np.array(data[data['groundTruth'][0][i]][0])
            seg_mask = (boundary * 255).astype(np.uint8)

            # 保存为 PNG
            img_name = os.path.splitext(os.path.basename(mat_path))[0]
            Image.fromarray(seg_mask).save(os.path.join(output_dir, f"{img_name}_{i}.png")
            )
    except Exception as e:
        print(f"转换失败: {mat_path} - {e}")

图像标准化处理
统一调整为 512×512 分辨率（保持长宽比进行 padding）
标准化像素值到 [0,1] 范围

多线程下载 ：使用concurrent.futures 实现并行下载

from concurrent.futures import ThreadPoolExecutor

def batch_download(url_list, save_dir, max_workers=4):
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        futures = []
        for url in url_list:
            save_path = os.path.join(save_dir, url.split('/')[-1])
            futures.append(executor.submit(download_file, url, save_path))

        for future in concurrent.futures.as_completed(futures):
            future.result()  # 检查异常