102花卉数据集实战：从数据清洗到高效模型训练的完整解决方案

1次阅读

没有评论

共计 2239 个字符，预计需要花费 6 分钟才能阅读完成。

102 花卉数据集是经典的细粒度分类基准，包含 8189 张图像，涵盖 102 类英国常见花卉。但在实际应用中存在三个典型问题：

类内差异显著：同一花卉品种在不同生长阶段、拍摄角度下的形态差异极大（如花苞与盛开花朵）
背景干扰严重：户外拍摄时难以避免的复杂背景（如绿叶、土壤）会干扰模型对花卉主体的识别
类别不均衡：部分类别样本量不足百张，而多的类别超过 200 张

传统处理方式如简单中心裁剪 +Resize 会导致 30% 以上的样本因主体截断而失效，直接使用交叉熵损失则会使模型偏向多数类。

结合 OpenCV 和 Albumentations 实现多阶段增强：

预处理阶段：
自动矫正 EXIF 方向（避免图像意外旋转）
自适应直方图均衡化（CLAHE）增强低对比度样本
空间变换：
随机透视变换（模拟不同拍摄视角）
弹性形变（增强花瓣纹理变化）
主体感知裁剪（基于 YOLOv3 检测框确保花卉在视野内）
色彩扰动：
HSV 空间随机抖动（色相±30°，饱和度±20%）
添加高斯噪声（σ=0.01）

import albumentations as A
train_transform = A.Compose([A.RandomPerspective(p=0.5),
    A.ElasticTransform(alpha=1, sigma=50, alpha_affine=50, p=0.3),
    A.CLAHE(p=0.5),
    A.HueSaturationValue(hue_shift_limit=30, sat_shift_limit=20, p=0.7)
])

在 ResNet50 基础上进行三点改进：

替换 stem 层：将 7 ×7 卷积拆分为 3 个 3 ×3 卷积，保留细节特征
添加注意力模块：在 stage3 后插入 CBAM 注意力，权重计算公式：
$$Mc(F) = σ(MLP(AvgPool(F)) + MLP(MaxPool(F)))$$
分类头改进：使用 GeM 池化替代全局平均池化，提升细粒度特征表达能力

通过以下配置实现零拷贝数据加载：

使用 MMAP 加载图像到共享内存
配置 pin_memory 和 non_blocking 传输
调整 num_workers 为 CPU 物理核心数的 80%

train_loader = DataLoader(
    dataset,
    batch_size=64,
    sampler=WeightedRandomSampler(weights, len(weights)),
    num_workers=os.cpu_count()*8//10,
    pin_memory=True,
    persistent_workers=True
)

根据类别频率计算采样权重，解决长尾分布问题：

class_counts = [1200, 950, ..., 85]  # 各类别样本数
weights = 1. / torch.tensor(class_counts, dtype=torch.float)
samples_weights = weights[labels]
sampler = WeightedRandomSampler(samples_weights, len(samples_weights))

通过 AMP 自动管理精度转换，节省显存的同时保持精度：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

采用线性 warmup+ 余弦退火组合：

warmup_epochs = 5
max_lr = 0.1

scheduler = torch.optim.lr_scheduler.SequentialLR(
    optimizer,
    [LinearLR(optimizer, 1e-6, max_lr, warmup_epochs),
        CosineAnnealingLR(optimizer, T_max=epochs-warmup_epochs)
    ],
    [warmup_epochs]
)