Camelyon16数据集入门指南：从数据预处理到模型训练的全流程解析

1次阅读

没有评论

共计 3412 个字符，预计需要花费 9 分钟才能阅读完成。

Camelyon16 是医学影像分析领域的经典数据集，包含数百张千兆像素级别的 WSI（Whole Slide Image）病理切片。对于刚接触医学 AI 的开发者来说，处理这些图像会遇到几个典型问题：

内存占用高 ：单张 WSI 图像可能达到 GB 级别，直接加载到内存会导致 OOM（内存不足）错误
标注格式复杂 ：肿瘤区域标注采用 XML 格式，需要解析并转换为掩模
多尺度特性 ：WSI 采用金字塔结构存储，需要正确处理不同分辨率层级
IO 瓶颈 ：频繁读取大文件会导致硬盘 IO 成为性能瓶颈

处理 WSI 图像的常用工具链包括：

OpenSlide：最成熟的 WSI 处理库，支持多种扫描仪格式
openslide-python：OpenSlide 的 Python 绑定
libvips：高性能图像处理库，支持流式处理

对于 PyTorch 用户，推荐使用 openslide-python+PyTorch 组合，其优势在于：

可以直接与 PyTorch 的数据加载器集成
社区支持好，文档完善
内存管理更友好

# 安装核心依赖
pip install openslide-python numpy pandas torch torchvision xmltodict

Camelyon16 的肿瘤标注采用 XML 格式，我们需要将其转换为二值掩模。以下是解析代码示例：

import xml.etree.ElementTree as ET
import numpy as np

def parse_annotation(xml_path, level_dimensions):
    """解析 XML 标注并生成掩模"""
    tree = ET.parse(xml_path)
    root = tree.getroot()

    # 创建空白掩模
    width, height = level_dimensions[0]  # 使用最高分辨率层级
    mask = np.zeros((height, width), dtype=np.uint8)

    # 解析所有标注区域
    for annotation in root.findall('.//Annotation'):
        for region in annotation.findall('.//Region'):
            vertices = []
            for vertex in region.findall('.//Vertex'):
                x = float(vertex.get('X'))
                y = float(vertex.get('Y'))
                vertices.append((x, y))

            # 将多边形填充到掩模
            if len(vertices) > 2:
                rr, cc = polygon(np.array(vertices)[:,1], np.array(vertices)[:,0], mask.shape)
                mask[rr, cc] = 1

    return mask

由于 WSI 图像太大，我们通常需要采样小 Patch 进行训练。关键考虑因素包括：

采样层级 ：选择适当的金字塔层级（通常选择 2 - 4 级）
采样步长 ：决定 Patch 之间的重叠程度
正负样本平衡 ：确保肿瘤区域和非肿瘤区域都有足够样本

以下是多尺度 Patch 采样代码示例：

import openslide
import random

def sample_patches(slide_path, mask, patch_size=256, n_samples=100, level=2):
    """从 WSI 中采样 Patch"""
    slide = openslide.OpenSlide(slide_path)

    # 获取指定层级的尺寸
    width, height = slide.level_dimensions[level]

    patches = []
    labels = []

    for _ in range(n_samples):
        # 随机采样坐标
        x = random.randint(0, width - patch_size)
        y = random.randint(0, height - patch_size)

        # 读取 Patch
        patch = slide.read_region((x*(2**level), y*(2**level)), level, (patch_size, patch_size))
        patch = patch.convert('RGB')

        # 获取对应标签
        mask_patch = mask[y:y+patch_size, x:x+patch_size]
        label = 1 if np.any(mask_patch) else 0

        patches.append(patch)
        labels.append(label)

    return patches, labels

处理 WSI 时，内存管理至关重要：

使用内存映射 ：将大文件映射到内存而非完全加载
延迟加载 ：仅在需要时读取特定区域
多进程处理 ：使用 PyTorch 的 DataLoader 并行加载

from torch.utils.data import Dataset, DataLoader

class WSIDataset(Dataset):
    def __init__(self, slide_path, mask, patch_size=256, n_samples=1000, level=2):
        self.slide = openslide.OpenSlide(slide_path)
        self.mask = mask
        self.patch_size = patch_size
        self.n_samples = n_samples
        self.level = level

    def __len__(self):
        return self.n_samples

    def __getitem__(self, idx):
        width, height = self.slide.level_dimensions[self.level]

        # 随机采样坐标
        x = random.randint(0, width - self.patch_size)
        y = random.randint(0, height - self.patch_size)

        # 读取 Patch
        patch = self.slide.read_region((x*(2**self.level), y*(2**self.level)), 
                                      self.level, 
                                      (self.patch_size, self.patch_size))
        patch = patch.convert('RGB')

        # 获取标签
        mask_patch = self.mask[y:y+self.patch_size, x:x+self.patch_size]
        label = 1 if np.any(mask_patch) else 0

        # 转换为 Tensor
        patch = transforms.ToTensor()(patch)

        return patch, label

# 使用 DataLoader 加载
dataset = WSIDataset(slide_path, mask)
dataloader = DataLoader(dataset, batch_size=32, num_workers=4)

OpenSlide 不是线程安全的，在多线程环境下使用时需要注意：