AI人工智能斑马鱼行为轨迹跟踪系统：从零搭建与避坑指南

1次阅读

没有评论

共计 2838 个字符，预计需要花费 8 分钟才能阅读完成。

斑马鱼作为模式生物，在神经科学、毒理学和药物筛选中具有重要地位。其透明胚胎和复杂社交行为为研究提供了独特优势。但传统人工观察方式存在三大痛点：

主观性强：不同研究者对行为分类标准不一致
效率低下：1 小时视频可能需要 8 小时人工标注
动态追踪难：鱼群交叉游动时肉眼难以持续区分个体

优点：
计算资源需求低（单核 CPU 即可运行）
无需标注数据
可解释性强
缺点：
光照敏感（水面反光会导致大量误检）
无法处理遮挡（鱼群交叉时目标丢失）
特征提取能力有限（难以区分相似个体）

优点：
遮挡处理能力强（通过 ReID 特征保持 ID 一致性）
端到端训练（避免手工设计特征）
适应复杂环境（自动学习光照不变性）
缺点：
需要大量标注数据
计算成本较高
模型调参复杂度高

水箱配置：
尺寸建议 30×20×15cm（长宽高）
背景板采用哑光蓝色（与鱼体对比明显）
水深保持 10cm 减少折射影响
拍摄参数：
分辨率≥1080P（建议使用工业相机如 Basler ace）
帧率 30fps（捕捉快速游动动作）
光源采用双侧 LED 漫射光（避免水面反光）

推荐使用 CVAT 工具链：

半自动标注流程：
先用 MiVOS 交互式分割生成初始标注
人工修正关键帧（每 10 帧检查 1 帧）
使用线性插值自动生成中间帧
数据增强技巧：
光学畸变模拟（添加人工水波纹）
颜色抖动（模拟光照变化）
运动模糊合成（提高动态适应性）

基于 MobileNetV3 的轻量化方案：

import torch
from torchvision.models import mobilenet_v3_small

class FishTracker(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = mobilenet_v3_small(pretrained=True)
        # 修改最后一层为检测头
        self.det_head = nn.Conv2d(576, 5*(5+4), 1)  # 输出 5 个 anchor

    def forward(self, x):
        features = self.backbone(x)
        return self.det_head(features)

import cv2

class VideoProcessor:
    def __init__(self, video_path):
        self.cap = cv2.VideoCapture(video_path)

    def extract_frames(self, interval=1):
        """
        按固定间隔抽取视频帧
        :param interval: 抽帧间隔 (单位: 帧)
        """
        frames = []
        count = 0
        while self.cap.isOpened():
            ret, frame = self.cap.read()
            if not ret: break
            if count % interval == 0:
                # 执行白平衡校正
                frame = self.white_balance(frame)
                frames.append(frame)
            count += 1
        return frames

    @staticmethod
    def white_balance(img):
        """基于灰度世界假设的白平衡"""
        result = cv2.cvtColor(img, cv2.COLOR_BGR2LAB)
        avg_a = np.mean(result[:, :, 1])
        avg_b = np.mean(result[:, :, 2])
        result[:, :, 1] = result[:, :, 1] - ((avg_a - 128) * 1.1)
        result[:, :, 2] = result[:, :, 2] - ((avg_b - 128) * 1.1)
        return cv2.cvtColor(result, cv2.COLOR_LAB2BGR)

from ultralytics import YOLO

def train_model():
    # 加载预训练模型
    model = YOLO('yolov8n.pt')  

    # 训练配置
    results = model.train(
        data='zebrafish.yaml',
        epochs=100,
        imgsz=640,
        batch=16,
        optimizer='AdamW',
        lr0=0.001,
        augment=True,
        mixup=0.2  # 使用 mixup 增强
    )

    # 验证集评估
    metrics = model.val()
    print(f"mAP@0.5: {metrics.box.map}")

采用 StrongSORT 改进方案：

外观特征提取器：
使用 FastReID 库提取 256 维特征向量
每帧更新特征库（EMA 系数 0.9）
运动补偿：
卡尔曼滤波中加入加速度项
当 IoU<0.3 时启用特征匹配

建立畸变校正模型：

def undistort_frame(frame, camera_matrix, dist_coeffs):
    """
    基于相机标定参数去除畸变
    :param camera_matrix: 内参矩阵 [[fx,0,cx],[0,fy,cy],[0,0,1]]
    :param dist_coeffs: 畸变系数 [k1,k2,p1,p2,k3]
    """
    h, w = frame.shape[:2]
    new_camera_matrix, _ = cv2.getOptimalNewCameraMatrix(camera_matrix, dist_coeffs, (w,h), 1, (w,h))
    return cv2.undistort(frame, camera_matrix, dist_coeffs, None, new_camera_matrix)