CLIP目标检测实战：从零构建跨模态视觉理解系统

1次阅读

共计 1834 个字符，预计需要花费 5 分钟才能阅读完成。

传统目标检测方法如 Faster R-CNN、YOLO 等存在两个主要问题：

封闭类别限制：模型只能识别训练时见过的类别，新增类别需重新标注数据和训练
数据依赖性强：每个类别需要上千标注样本，现实场景中许多长尾类别难以满足

而真实世界需要的是 开放词汇检测(Open-Vocabulary Detection)——像人类一样，通过语言描述就能识别新物体。这正是 CLIP 等跨模态模型的优势所在。

维度	CLIP-based 检测	Faster R-CNN
零样本能力	✅ 支持	❌ 不支持
计算开销(FLOPs)	较高(~150G)	中等(~80G)
新增类别成本	只需修改文本 prompt	需重新训练
小样本表现	优秀	较差
检测粒度	区域级	像素级

CLIP 包含两个核心组件：

图像编码器：ViT 或 ResNet 架构，输出图像特征向量
文本编码器：Transformer 架构，输出文本特征向量

通过对比学习，使相似语义的图文特征在向量空间中靠近。检测时，将区域图像特征与各类别文本特征做相似度匹配。

直接使用类别名称（如 ”dog”）效果有限，更好的 prompt 模板：

def build_prompt(class_name):
    return f"a photo of a {class_name}, high quality, detailed"

实际测试显示，加入风格描述可使准确率提升 5 -8%。

import torch
from PIL import Image
import clip

# 初始化模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 文本特征提取
classes = ["dog", "cat", "car"]
text_inputs = torch.cat([clip.tokenize(f"a photo of a {c}") for c in classes]).to(device)
with torch.no_grad():
    text_features = model.encode_text(text_inputs)  # [n_class, 512]

# 图像区域特征提取
image = preprocess(Image.open("test.jpg")).unsqueeze(0).to(device)
image_features = model.encode_image(image)  # [1, 512]

# 相似度计算
logits = (image_features @ text_features.T).softmax(dim=-1)  # [1, n_class]

将 CLIP 模型导出为 ONNX 格式可获得 1.5- 2 倍加速：

torch.onnx.export(
    model,
    dummy_input,
    "clip.onnx",
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}}
)