基于CLIP模型的零样本图像分类实战：从原理到生产环境部署

1次阅读

没有评论

共计 2828 个字符，预计需要花费 8 分钟才能阅读完成。

在传统的图像分类任务中，我们需要大量标注数据来训练模型。这不仅耗时费力，而且模型一旦训练完成，就很难适应新的类别。CLIP 模型通过对比学习的方式，实现了 零样本分类 能力——即不需要任何特定类别的训练数据，就能对图像进行分类。

CLIP 的创新之处在于它将图像和文本嵌入到同一个向量空间，通过计算它们的余弦相似度来判断匹配程度。这种方法的优势在于：

无需特定类别的训练数据
可以灵活添加或修改分类类别
模型具有强大的泛化能力

CLIP 的核心是对比学习机制。在训练过程中：

模型同时接收图像和文本对
将这些输入分别编码为向量表示
计算图像和文本嵌入之间的余弦相似度
通过对比损失函数，最大化匹配对的相似度，最小化不匹配对的相似度

这种训练方式使得 CLIP 学习到的嵌入空间具有很好的语义一致性——相似的图像和文本会在向量空间中靠近。

余弦相似度的计算公式为：

similarity = (A·B)/(||A||·||B||)

其中 A 和 B 是向量，·表示点积，||·|| 表示向量的模。

首先需要安装必要的 Python 库：

pip install torch torchvision transformers pillow

import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

# 加载预训练模型和处理器
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def get_image_embedding(image_path):
    image = Image.open(image_path)
    inputs = processor(images=image, return_tensors="pt", padding=True)
    with torch.no_grad():
        image_features = model.get_image_features(**inputs)
    return image_features


def get_text_embedding(text_list):
    inputs = processor(text=text_list, return_tensors="pt", padding=True)
    with torch.no_grad():
        text_features = model.get_text_features(**inputs)
    return text_features

def classify_image(image_path, class_names):
    # 获取图像和文本特征
    image_features = get_image_embedding(image_path)
    text_features = get_text_embedding(class_names)

    # 计算余弦相似度
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)
    similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)

    # 获取预测结果
    values, indices = similarity[0].topk(len(class_names))
    return {class_names[i]: v.item() for v, i in zip(values, indices)}

下面是一个完整的零样本分类示例：

from PIL import Image
import torch
from transformers import CLIPProcessor, CLIPModel

# 初始化模型
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def classify_image(image_path, class_names):
    # 加载图像
    image = Image.open(image_path)

    # 预处理
    inputs = processor(
        text=class_names,
        images=image,
        return_tensors="pt",
        padding=True
    )

    # 前向传播
    with torch.no_grad():
        outputs = model(**inputs)

    # 计算相似度
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1)

    # 返回结果
    return {class_names[i]: p.item() for i, p in enumerate(probs[0])}

# 示例使用
image_path = "cat.jpg"
classes = ["a photo of a cat", "a photo of a dog", "a photo of a car"]
results = classify_image(image_path, classes)
print(results)