基于CLIP和逻辑回归的图像分类实战：从原理到生产环境部署

1次阅读

共计 2624 个字符，预计需要花费 7 分钟才能阅读完成。

传统图像分类模型（如 CNN、ViT）在小样本场景下表现不佳，主要原因如下：

需要大量标注数据进行训练
模型泛化能力有限，难以适应新类别
计算资源消耗大，训练时间长

CLIP（Contrastive Language-Image Pretraining）模型通过对比学习在大量图像 - 文本对上进行预训练，具有强大的跨模态特征提取能力。这使得我们能够：

直接利用预训练模型提取高质量图像特征
无需微调整个模型，只需训练一个轻量级分类器
支持零样本（zero-shot）分类

方案	训练成本	预测精度	适用场景
CNN	高	中等	大数据量，固定类别
ViT	极高	高	大数据量，计算资源充足
CLIP+ 逻辑回归	低	中高	小样本，动态类别

from transformers import CLIPProcessor, CLIPModel
import torch

# 自动选择可用设备
device = 'cuda' if torch.cuda.is_available() else 'cpu'

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

model = model.to(device)

def extract_features(image_paths):
    images = [Image.open(path) for path in image_paths]
    inputs = processor(images=images, return_tensors="pt", padding=True)

    with torch.no_grad():
        inputs = {k: v.to(device) for k, v in inputs.items()}
        features = model.get_image_features(**inputs)

    # 归一化处理
    features = features / features.norm(dim=1, keepdim=True)
    return features.cpu().numpy()

from sklearn.model_selection import train_test_split

# 假设 X 是特征矩阵，y 是标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

# 特征标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 处理类别不平衡
class_weight = 'balanced'  # 自动调整类别权重

clf = LogisticRegression(
    max_iter=1000, 
    class_weight=class_weight,
    random_state=42
)
clf.fit(X_train_scaled, y_train)

import onnxruntime as ort
from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType

# 转换为 ONNX 格式
initial_type = [('float_input', FloatTensorType([None, 512]))]
onx_model = convert_sklearn(clf, initial_types=initial_type)

# 保存模型
with open("clip_lr.onnx", "wb") as f:
    f.write(onx_model.SerializeToString())

# 加载模型
sess = ort.InferenceSession("clip_lr.onnx")
input_name = sess.get_inputs()[0].name
output_name = sess.get_outputs()[0].name

硬件	推理延迟（ms）	优化方案
CPU (Intel Xeon)	120	使用 ONNX Runtime
GPU (T4)	25	启用 TensorRT
Edge Device	180	量化到 INT8

# 转换为 TensorRT 引擎
trtexec --onnx=clip_lr.onnx --saveEngine=clip_lr.engine --fp16

除了使用 class_weight='balanced'，还可以：

自定义权重字典
使用 Focal Loss 替代交叉熵
过采样少数类或欠采样多数类

维度对齐问题 ：确保 CLIP 图像编码器的输出维度（如 512）与逻辑回归输入维度一致

决策阈值调优 ：

from sklearn.metrics import precision_recall_curve

y_scores = clf.predict_proba(X_test)[:, 1]
precision, recall, thresholds = precision_recall_curve(y_test, y_scores)
# 根据业务需求选择最佳阈值