BiSeNetV2实战：从零开始训练自定义数据集的全流程指南

共计 2222 个字符，预计需要花费 6 分钟才能阅读完成。

为什么选择 BiSeNetV2

BiSeNetV2 作为轻量级实时语义分割网络，在速度和精度之间取得了很好的平衡。它的核心优势在于双分支结构设计：

• Detail Branch：保留高分辨率空间细节（1/ 8 降采样）
• Semantic Branch：通过快速下采样（1/32）捕获高级语义信息

实际测试中，在 1080Ti 上能达到 156FPS 的推理速度，非常适合移动端和边缘设备部署。

数据准备：从 labelme 到 Cityscapes 格式

大多数公开数据集使用 Cityscapes 格式，但我们的自定义数据往往是 labelme 标注的 JSON 文件。这里给出转换脚本的关键部分：

import json
import numpy as np
from PIL import Image

def labelme_to_cityscapes(json_path, output_dir):
    with open(json_path) as f:
        data = json.load(f)

    # 创建灰度图（单通道）label = np.zeros((data['imageHeight'], data['imageWidth']), dtype=np.uint8)

    for shape in data['shapes']:
        # 注意：需要预先建立类别名到 trainId 的映射
        class_name = shape['label']
        mask = points_to_mask(shape['points'], data['imageHeight'], data['imageWidth'])
        label[mask > 0] = class2trainId[class_name]  # 自定义映射字典

    Image.fromarray(label).save(os.path.join(output_dir, 'gtFine/train/xxx_labelIds.png'))
    # 同时需要生成_color 和_instance 文件（略）

重要提示：
1. 需要处理 group 字段防止标签覆盖
2. 建议添加 try-catch 块处理破损标注文件
3. 最终目录结构应满足：

dataset/
├── imgs/  # 原图
├── gtFine/  # 标注
│   ├── train/
│   │   ├── xxx_labelIds.png
│   │   └── ...
└── labels.txt  # 类别定义

模型适配关键修改

在 model.py 中需要调整以下部分：

1. 修改类别数（约第 48 行）：

   self.num_classes = 19  # 改为你的实际类别数

2. 更新 AUX 输出（约第 132 行）：

   self.conv_out = nn.Sequential(nn.Conv2d(128, 128, kernel_size=3, padding=1),
       nn.BatchNorm2d(128),
       nn.ReLU(),
       nn.Conv2d(128, your_class_num, kernel_size=1)  # 修改此处
   )

训练策略优化

学习率设置

由于双分支结构特性，建议采用分层学习率：

optimizer = torch.optim.SGD([{'params': model.detail_branch.parameters(), 'lr': base_lr * 1.0},
    {'params': model.semantic_branch.parameters(), 'lr': base_lr * 0.5},
], momentum=0.9, weight_decay=5e-4)

小样本增强技巧

当数据量不足时（<500 张），推荐组合使用：
– 颜色抖动（ColorJitter）
– 随机透视变换
– 复制 - 粘贴增强（Copy-Paste）

transform = Compose([RandomHorizontalFlip(p=0.5),
    ColorJitter(brightness=0.4, contrast=0.4, saturation=0.4),
    RandomPerspective(distortion_scale=0.2, p=0.5)
])

性能对比实测

在 1080Ti 上的测试结果（输入尺寸 512×1024）：

TTA 效果 ：使用多尺度(0.5,0.75,1.0) 测试可使 mIoU 提升约 1.5%，但会降低 FPS 到原来的 1 /3。

常见问题解决方案

1. 类别不平衡：
2. 推荐使用 OHEM + Focal Loss 组合

3. 样本权重计算公式：
   $$w_c = \frac{1}{\ln(1.02 + p_c)}$$

4. 多 GPU 训练 SyncBN：

   model = torch.nn.SyncBatchNorm.convert_sync_batchnorm(model)
   ddp_model = DDP(model, device_ids=[local_rank])

5. 量化部署精度下降：

6. 先进行 QAT（量化感知训练）
7. 对 Detail Branch 使用 8bit，Semantic Branch 保持 FP16

实测结果

在 COCO-Stuff 验证集上的表现：

开放问题：在实际应用中，我们往往需要在 ” 实时性 ” 和 ” 精度 ” 之间做出权衡。当你的应用场景要求必须在 30ms 内完成推理时，你会选择牺牲哪些性能指标？又通过哪些技术手段来尽量弥补这些损失？