构建高质量AI生成视频数据集：从数据清洗到标注优化的全流程实战

1次阅读

共计 1793 个字符，预计需要花费 5 分钟才能阅读完成。

在构建 AI 生成视频数据集时，我们常遇到三类典型问题：

时空不一致性 ：生成视频中物体运动不符合物理规律（如突然消失的物体），或相邻帧间出现画面跳变
标注噪声 ：自动生成的文本描述与视觉内容不匹配（如 ” 奔跑的狗 ” 实际画面是静止的猫）
多样性不足 ：数据集中在特定场景或动作上过采样（如 80% 都是走路动作）

通过分析连续帧间的光流场（optical flow）来识别异常帧：

import cv2
import numpy as np

def detect_abnormal_frames(video_path, threshold=0.3):
    cap = cv2.VideoCapture(video_path)
    prev_frame = None
    abnormal_indices = []

    while cap.isOpened():
        ret, frame = cap.read()
        if not ret: break

        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        if prev_frame is not None:
            # 计算稠密光流
            flow = cv2.calcOpticalFlowFarneback(prev_frame, gray, None, 0.5, 3, 15, 3, 5, 1.2, 0)
            # 计算运动一致性得分
            magnitude = np.sqrt(flow[...,0]**2 + flow[...,1]**2)
            score = np.std(magnitude) / (np.mean(magnitude) + 1e-6)
            if score > threshold:
                abnormal_indices.append(cap.get(cv2.CAP_PROP_POS_FRAMES))

        prev_frame = gray

    return abnormal_indices

参数说明 ：阈值设为 0.3 时能较好平衡召回率与准确率，实际项目建议在验证集上微调

利用多模态模型的 zero-shot 分类能力提升标注质量：

from transformers import CLIPProcessor, CLIPModel
import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def refine_caption(frame, candidate_captions):
    inputs = processor(
        text=candidate_captions, 
        images=frame, 
        return_tensors="pt", 
        padding=True
    )
    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits_per_image
    return candidate_captions[torch.argmax(logits)]

使用技巧 ：
– 候选描述建议包含原始标注 + 常见修正模板（如动作 / 场景 / 物体组合）
– 对关键帧（每 10 帧取 1 帧）进行标注后传播到相邻帧