基于CLIP和逻辑回归的图像分类实战：从原理到生产环境部署

1次阅读

共计 2295 个字符，预计需要花费 6 分钟才能阅读完成。

传统图像分类模型（如 ResNet、EfficientNet）在小样本场景下往往表现不佳，主要原因有两点：

需要大量标注数据进行训练，而现实场景中标注成本高昂
模型对未见过的类别泛化能力有限，难以适应新任务

CLIP（Contrastive Language-Image Pretraining）模型通过对比学习在 4 亿图文对上预训练，具备强大的跨模态理解能力。其核心优势在于：

零样本迁移能力：无需微调即可对新类别进行分类
通用特征表示：图像和文本嵌入到同一语义空间
小样本友好：只需少量样本就能建立有效分类边界

方案	训练数据需求	计算成本	预测精度 (小样本)	部署难度
CNN	高	高	中	中
ViT	极高	极高	高	高
CLIP+ 逻辑回归	极低	低	中高	低

!pip install transformers torch scikit-learn onnxruntime

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)

def get_image_embedding(image_path):
    image = Image.open(image_path)
    inputs = processor(images=image, return_tensors="pt", padding=True)
    inputs = {k:v.to(device) for k,v in inputs.items()}
    with torch.no_grad():
        features = model.get_image_features(**inputs)
    return features.cpu().numpy()

import numpy as np
from sklearn.preprocessing import StandardScaler

# 假设已经收集了每个类别的样本路径和标签
image_paths = [...]  # 图像路径列表
labels = [...]       # 对应标签

# 提取所有特征
features = np.vstack([get_image_embedding(path) for path in image_paths])

# 特征标准化
scaler = StandardScaler()
X = scaler.fit_transform(features)
y = np.array(labels)

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 处理类别不平衡
class_weight = 'balanced' if len(np.unique(y)) > 2 else None

clf = LogisticRegression(
    max_iter=1000,
    class_weight=class_weight,
    multi_class='ovr'
).fit(X_train, y_train)

print(f"Test accuracy: {clf.score(X_test, y_test):.2f}")

torch.onnx.export(
    model,
    dummy_input,
    "clip_model.onnx",
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch"}, "output": {0: "batch"}}
)

硬件	推理延迟 (ms)	内存占用 (MB)
CPU (Xeon)	120	1500
GPU (T4)	15	2500
TensorRT (T4)	8	1800

# 使用官方 trt 工具转换
!trtexec --onnx=clip_model.onnx --saveEngine=clip_model.trt --fp16

维度对齐问题 ：确保文本编码器和图像编码器的输出维度一致（CLIP 默认都是 512 维）

阈值调优 ：对于二分类问题，建议使用 ROC 曲线确定最佳决策阈值

from sklearn.metrics import roc_curve
fpr, tpr, thresholds = roc_curve(y_true, y_score)
optimal_idx = np.argmax(tpr - fpr)
optimal_threshold = thresholds[optimal_idx]