基于CLIP逻辑回归的高效图像分类实战：从模型微调到生产部署

1次阅读

没有评论

共计 3536 个字符，预计需要花费 9 分钟才能阅读完成。

传统 CNN 模型在小样本场景下表现不佳，主要原因有：

需要大量标注数据进行训练
模型泛化能力有限，难以适应新领域
微调整个模型计算成本高，不适合资源有限场景

CLIP（Contrastive Language-Image Pretraining）模型通过大规模图文对比学习，获得了强大的视觉特征提取能力。结合逻辑回归，我们可以利用 CLIP 的预训练特征，仅需少量标注数据就能实现高效的图像分类。

在迁移学习中，常见的微调策略有：

全模型微调（Fine-tuning）
准确率：高
训练成本：高
数据需求：大量标注数据
线性探针（Linear Probe）
准确率：中等
训练成本：低
数据需求：中等
CLIP+ 逻辑回归
准确率：接近线性探针
训练成本：极低
数据需求：少量标注数据

使用 HuggingFace transformers 库可以方便地加载 CLIP 模型：

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

特征提取时需要注意归一化处理：

import torch

def extract_features(images):
    inputs = processor(images=images, return_tensors="pt", padding=True)
    with torch.no_grad():
        features = model.get_image_features(**inputs)
    return features / features.norm(dim=-1, keepdim=True)

使用 scikit-learn 实现逻辑回归：

from sklearn.linear_model import LogisticRegression

# 假设已经提取了特征 X 和标签 y
clf = LogisticRegression(random_state=0, max_iter=1000).fit(X, y)

import os
import numpy as np
import torch
from transformers import CLIPProcessor, CLIPModel
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# 初始化 CLIP 模型
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def extract_features(images, cache_path="features.npy"):
    # 检查是否有缓存
    if os.path.exists(cache_path):
        return np.load(cache_path)

    # 提取特征
    inputs = processor(images=images, return_tensors="pt", padding=True)
    with torch.no_grad():
        features = model.get_image_features(**inputs)
    features = features / features.norm(dim=-1, keepdim=True)

    # 保存缓存
    np.save(cache_path, features.numpy())
    return features.numpy()

# 示例用法
images = [...]  # 加载图像列表
labels = [...]  # 对应标签

X = extract_features(images)
y = np.array(labels)

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 训练逻辑回归模型
clf = LogisticRegression(random_state=0, max_iter=1000).fit(X_train, y_train)

# 评估
print("Test accuracy:", clf.score(X_test, y_test))

当类别数量变化时，可以使用 partial_fit 方法进行增量学习：

from sklearn.linear_model import SGDClassifier

clf = SGDClassifier(loss="log_loss")

# 初始训练
clf.partial_fit(X_train, y_train, classes=np.unique(y_train))

# 新增数据训练
clf.partial_fit(X_new, y_new)

将逻辑回归模型导出为 ONNX 格式：

from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType

initial_type = [('float_input', FloatTensorType([None, 512]))]
onx_model = convert_sklearn(clf, initial_types=initial_type)

with open("model.onnx", "wb") as f:
    f.write(onx_model.SerializeToString())

对于大型数据集，可以使用特征缓存和分批处理：

# 分批提取特征
batch_size = 64
features = []
for i in range(0, len(images), batch_size):
    batch = images[i:i+batch_size]
    features.append(extract_features(batch))
X = np.vstack(features)

使用类别权重平衡处理：

from sklearn.utils.class_weight import compute_class_weight

class_weights = compute_class_weight(
    "balanced",
    classes=np.unique(y_train),
    y=y_train
)
clf = LogisticRegression(class_weight=dict(enumerate(class_weights)))

当特征维度太高时，可以使用 PCA 降维：

from sklearn.decomposition import PCA

pca = PCA(n_components=128)
X_reduced = pca.fit_transform(X)

使用验证集进行早停：

from sklearn.model_selection import train_test_split

X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.2)

clf = LogisticRegression(warm_start=True, max_iter=1000)

for i in range(10):
    clf.fit(X_train, y_train)
    val_score = clf.score(X_val, y_val)
    print(f"Epoch {i}, Val accuracy: {val_score}")
    if val_score > best_score:
        best_score = val_score
    else:
        break