AI数据标注入门教程：零基础掌握关键技术与实战避坑指南

1次阅读

没有评论

共计 2097 个字符，预计需要花费 6 分钟才能阅读完成。

数据标注是 AI 模型训练的基础环节，直接影响模型的准确性和泛化能力。无论是图像识别、语音转文字还是自动驾驶，都需要高质量的标注数据来 ” 教会 ”AI 理解世界。常见场景包括：

计算机视觉：物体检测（如人脸框选）、语义分割（像素级标记）
自然语言处理：实体标注（如人名 / 地名识别）、情感分析标签
语音识别：文本转写与时间戳对齐

LabelImg
优点：轻量级、支持 PascalVOC/YOLO 格式、适合目标检测
缺点：仅支持矩形框标注、无团队协作功能
CVAT
优点：支持视频标注、云端部署、多人审核流程
缺点：需要服务器资源、学习曲线较陡
Prodigy
优点：主动学习集成、支持 NLP 任务
缺点：商业收费、定制化要求高

图像数据：统一调整为 800×600 分辨率，JPEG 质量 85%
文本数据：清除 HTML 标签、统一编码为 UTF-8
音频数据：标准化为 16kHz 采样率、单声道

明确标签体系（如 ” 车辆→卡车 / 轿车 / 公交车 ”）
定义边界案例处理规则（如遮挡物体是否标注）
制定标注精度要求（如像素级误差范围）

# 示例：标注框重叠检测
import numpy as np
def check_overlap(bbox1, bbox2):
    # 计算 IoU（交并比）x1 = max(bbox1[0], bbox2[0])
    y1 = max(bbox1[1], bbox2[1])
    x2 = min(bbox1[2], bbox2[2])
    y2 = min(bbox1[3], bbox2[3])
    intersection = max(0, x2 - x1) * max(0, y2 - y1)
    area1 = (bbox1[2]-bbox1[0])*(bbox1[3]-bbox1[1])
    area2 = (bbox2[2]-bbox2[0])*(bbox2[3]-bbox2[1])
    return intersection / (area1 + area2 - intersection) > 0.3  # 阈值 30%

# 数据标注处理工具箱
import cv2
import json

class AnnotationProcessor:
    def __init__(self, image_dir, label_path):
        self.images = [f for f in os.listdir(image_dir) if f.endswith('.jpg')]
        with open(label_path) as f:
            self.labels = json.load(f)

    def visualize(self, img_name, save_path=None):
        img = cv2.imread(os.path.join(self.image_dir, img_name))
        for obj in self.labels[img_name]:
            x1,y1,x2,y2 = obj['bbox']
            cv2.rectangle(img, (x1,y1), (x2,y2), (0,255,0), 2)
            cv2.putText(img, obj['label'], (x1,y1-5), 
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,0,255), 1)
        if save_path:
            cv2.imwrite(save_path, img)
        return img

    def convert_to_yolo(self, output_dir):
        os.makedirs(output_dir, exist_ok=True)
        for img_name in self.labels:
            with open(f"{output_dir}/{img_name.replace('.jpg','.txt')}", 'w') as f:
                for obj in self.labels[img_name]:
                    # 转换为 YOLO 格式：class x_center y_center width height
                    x1,y1,x2,y2 = obj['bbox']
                    img_h, img_w = cv2.imread(img_name).shape[:2]
                    x_center = ((x1 + x2)/2) / img_w
                    y_center = ((y1 + y2)/2) / img_h
                    width = (x2 - x1) / img_w
                    height = (y2 - y1) / img_h
                    f.write(f"{obj['class_id']} {x_center} {y_center} {width} {height}\n")