AI人工智能斑马鱼行为跟踪系统：从零搭建与避坑指南

1次阅读

没有评论

共计 2473 个字符，预计需要花费 7 分钟才能阅读完成。

传统斑马鱼行为研究主要依赖人工观察和手动标注，存在三大致命缺陷：

效率瓶颈 ：1 分钟视频需要研究员花费 30 分钟逐帧标注，而典型实验往往产生数小时素材
主观偏差 ：不同操作者对 ” 转弯 ”、” 加速 ” 等行为的判定标准不一致
环境敏感 ：水面反光、气泡干扰等会导致人工跟踪丢失目标

优点：轻量级，实时性好（1080P@50FPS）
缺点：依赖传统图像处理（背景减除 + 轮廓检测），在鱼群交叉时失效

优点：学术界主流，支持关键点检测
缺点：需要大量标注数据（约 1000 帧 / 鱼），训练成本高

平衡点：
检测精度 mAP@0.5 可达 92%
支持 ONNX 导出便于部署
迁移学习只需 200-300 标注样本

使用 OpenCV 的 VideoCapture 配合多线程提高吞吐：

import cv2
from threading import Thread

class FishVideoStream:
    def __init__(self, src=0):
        self.stream = cv2.VideoCapture(src)
        _, self.frame = self.stream.read()
        self.stopped = False

    def start(self):
        Thread(target=self.update, args=()).start()
        return self

    def update(self):
        while not self.stopped:
            _, self.frame = self.stream.read()

    def read(self):
        return self.frame

    def stop(self):
        self.stopped = True

使用 Ultralytics 官方 API 进行微调：

from ultralytics import YOLO

# 加载预训练模型
model = YOLO('yolov8n.pt')  

# 自定义数据集配置
model.train(
    data='zebrafish.yaml',
    epochs=100,
    imgsz=640,
    batch=16,
    optimizer='AdamW'
)

# 导出为 ONNX 格式
model.export(format='onnx')

关键技巧：

数据增强：添加随机水波扭曲（模拟真实水面）
损失函数：采用 CIoU 提升小目标检测

基于 SORT 算法改进：

from sort import Sort

# 初始化跟踪器
tracker = Sort(max_age=5, min_hits=3) 

# 处理检测结果
def process_detections(dets):
    tracked_objects = tracker.update(dets)
    for obj in tracked_objects:
        x1, y1, x2, y2, obj_id = obj
        cv2.rectangle(frame, (x1,y1), (x2,y2), (0,255,0), 2)
        cv2.putText(frame, f"Fish {int(obj_id)}", 
                   (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,0,255), 2)

使用 Matplotlib 生成运动热力图：

import matplotlib.pyplot as plt
from matplotlib.collections import LineCollection

# 收集轨迹点
trajectories = {id: [] for id in range(max_fish)}

# 绘制热力图
fig, ax = plt.subplots()
for fish_id, path in trajectories.items():
    points = np.array(path).reshape(-1, 1, 2)
    segments = np.concatenate([points[:-1], points[1:]], axis=1)
    lc = LineCollection(segments, cmap='viridis', linewidth=2)
    lc.set_array(np.linspace(0, 1, len(path)))
    ax.add_collection(lc)

采用 CLAHE 算法动态调整对比度：

# 创建 CLAHE 对象
clahe = cv2.createCLAHE(clipLimit=3.0, tileGridSize=(8,8))

# 应用在 Y 通道
lab = cv2.cvtColor(frame, cv2.COLOR_BGR2LAB)
lab[...,0] = clahe.apply(lab[...,0])
fixed = cv2.cvtColor(lab, cv2.COLOR_LAB2BGR)