Chest X-ray14数据集实战指南：从数据预处理到模型训练全流程解析

1次阅读

共计 2835 个字符，预计需要花费 8 分钟才能阅读完成。

Chest X-ray14 是由 NIH（美国国立卫生研究院）发布的公开胸部 X 光数据集，包含 112,120 张前视图 X 光图像，涵盖 14 种常见胸部疾病标签。该数据集因其规模大、标注质量高，成为医学影像分析领域的重要基准数据集。

数据集特点：

多标签分类：每张图像可能同时有多个疾病标签
数据不平衡：不同疾病类别的样本数量差异显著
高分辨率：原始图像尺寸通常为 1024×1024 或更大

数据集可通过 NIH 官网或使用以下命令下载：

# 下载数据集（约 40GB）wget https://nihcc.box.com/shared/static/vs1okpgv6l0imcvz5q2kq8jybsnqhs8j.zip -O chestxray14.zip

# 解压数据集
unzip chestxray14.zip -d ./chestxray14

解压后的目录结构如下：

chestxray14/
├── images/               # 所有 X 光图像
│   ├── 00000001_000.png
│   ├── 00000001_001.png
│   └── ...
└── Data_Entry_2017.csv  # 包含图像文件名和对应标签

使用 Python 加载单张 X 光图像：

from PIL import Image
import pandas as pd
import os

# 加载标注文件
df = pd.read_csv('chestxray14/Data_Entry_2017.csv')

# 图像加载函数
def load_image(image_name):
    try:
        img_path = os.path.join('chestxray14/images', image_name)
        img = Image.open(img_path).convert('L')  # 转为灰度图
        return img
    except Exception as e:
        print(f"Error loading {image_name}: {str(e)}")
        return None

# 示例：加载第一张图像
sample_img = load_image(df.iloc[0]['Image Index'])
if sample_img:
    print(f"Loaded image with size: {sample_img.size}")

归一化 ：将像素值缩放到 0 - 1 范围
重采样 ：调整图像尺寸以适应模型输入
窗宽窗位调整 ：突出显示特定组织密度范围

使用 OpenCV 进行基本增强：

import cv2
import numpy as np

def preprocess_image(img, target_size=(224, 224)):
    """
    预处理流程：1. 调整大小
    2. 归一化
    3. 直方图均衡化（可选）"""
    # 转为 numpy 数组
    img_array = np.array(img)

    # 调整大小
    resized = cv2.resize(img_array, target_size)

    # 归一化
    normalized = resized / 255.0

    # 直方图均衡化（增强对比度）equalized = cv2.equalizeHist((normalized * 255).astype(np.uint8))
    equalized = equalized / 255.0

    # 添加通道维度
    processed = np.expand_dims(equalized, axis=-1)

    return processed

Chest X-ray14 存在严重的类别不平衡问题。解决方案：

使用加权交叉熵损失函数
过采样少数类或欠采样多数类
采用 Focal Loss 等特殊损失函数

使用 PyTorch 实现基础模型：

import torch
import torch.nn as nn
import torch.nn.functional as F

class ChestXrayCNN(nn.Module):
    def __init__(self, num_classes=14):
        super(ChestXrayCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc1 = nn.Linear(64 * 56 * 56, 512)  # 假设输入为 224x224
        self.fc2 = nn.Linear(512, num_classes)
        self.dropout = nn.Dropout(0.5)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = torch.flatten(x, 1)
        x = F.relu(self.fc1(x))
        x = self.dropout(x)
        x = self.fc2(x)
        return x

关键训练参数建议：

学习率：0.001（使用 Adam 优化器）
批量大小：32（根据 GPU 内存调整）
训练轮次：20-50
损失函数：带权重的 BCEWithLogitsLoss

医学影像分类常用 AUC-ROC 评估：

from sklearn.metrics import roc_auc_score

# 计算每个类别的 AUC
def calculate_aucs(y_true, y_pred):
    aucs = []
    for i in range(y_true.shape[1]):
        auc = roc_auc_score(y_true[:, i], y_pred[:, i])
        aucs.append(auc)
    return np.mean(aucs), aucs

问题：直接加载所有图像会导致内存不足

解决方案：