AI辅助数据标注实战：从零搭建高效标注流水线

1次阅读

共计 1784 个字符，预计需要花费 5 分钟才能阅读完成。

传统人工标注存在三大核心问题：

时效性瓶颈：标注 100 万张图片需要 10 人团队约 3 个月，而 AI 模型训练通常需要多轮数据迭代
一致性陷阱：不同标注员对 ” 车辆 ” 边界的理解差异会导致 IOU 波动超过 15%
成本难题：电商商品检测标注单价约 0.5 元 / 图，自动驾驶场景可达 5 元 / 图

主动学习 ：适合预算有限场景，通过不确定性采样(如熵值法) 选择价值最高的样本
半监督学习：利用 FixMatch 等算法，对未标注数据生成伪标签，适合已有部分标注数据的情况
预标注：用现有模型批量生成标注结果，人工只需修正，适合标注任务明确的项目

使用 Label-Studio 的开源方案：

pip install label-studio
label-studio start my_project --init --template image_bbox

配置关键参数：

设置 sampling="uncertainty" 启用主动学习
调整 batch_size=100 控制预标注批次

import torch
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')

# 生成预标注 JSON
def preannotate(img_path):
    results = model(img_path)
    return {'bbox': results.xyxy[0].tolist(),
        'confidence': results.pred[0][:, 4].mean().item()
    }

定义置信度阈值过滤规则：

quality\_score = \begin{cases}
reject, & \text{if} \frac{1}{n}\sum_{i=1}^n conf_i < 0.7 \\
review, & \text{if} 0.7 \leq \frac{1}{n}\sum_{i=1}^n conf_i < 0.9 \\
auto\_accept, & \text{otherwise}
\end{cases}

import cv2
import numpy as np

class Preprocessor:
    def __init__(self, target_size=640):
        self.size = target_size

    def __call__(self, img_path):
        img = cv2.imread(img_path)
        h, w = img.shape[:2]
        scale = min(self.size / h, self.size / w)
        return cv2.resize(img, (int(w*scale), int(h*scale)))

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval

def evaluate(gt_json, pred_json):
    cocoGt = COCO(gt_json)
    cocoDt = cocoGt.loadRes(pred_json)
    eval = COCOeval(cocoGt, cocoDt, 'bbox')
    eval.evaluate()
    eval.accumulate()
    eval.summarize()
    return eval.stats[0]  # return mAP@0.5