从零实现CLIP逻辑回归图像分类：原理详解与PyTorch实战

1次阅读

共计 3168 个字符，预计需要花费 8 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的多模态模型，其视觉编码器部分本质是一个强大的通用图像特征提取器。与传统 CNN 相比，CLIP 的优势在于：

通过 4 亿对图文数据预训练，学习到更丰富的视觉概念
特征空间与语义信息高度对齐（因为训练时强制图像和文本描述匹配）
输出特征维度统一为 512 维，方便下游任务适配

逻辑回归作为最简单的线性分类器，能让我们聚焦特征质量本身。当 CLIP 提取的特征足够好时，用简单线性层就能达到不错效果，这对计算资源有限的场景特别友好。

安装必要库（建议在 Colab 中运行）：

!pip install torch torchvision transformers

加载 CLIP 视觉编码器（以 ViT-B/32 为例）：

from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
# 只使用视觉部分
vision_encoder = model.vision_model

关键点处理流程：

图像预处理（CLIP 有特定归一化要求）
通过视觉编码器获取特征
对特征进行 L2 归一化（CLIP 原论文推荐做法）

import torch
from PIL import Image

def extract_features(image_path):
    # 加载图像并预处理
    image = Image.open(image_path).convert("RGB")
    inputs = processor(images=image, return_tensors="pt")

    # 前向传播
    with torch.no_grad():
        outputs = vision_encoder(**inputs)

    # 获取全局特征（取[CLS]token 对应的输出）features = outputs.pooler_output
    # L2 归一化
    features = features / features.norm(dim=1, keepdim=True)

    return features

在 CLIP 特征基础上添加一个全连接层：

import torch.nn as nn

class ClipLogisticRegression(nn.Module):
    def __init__(self, num_classes):
        super().__init__()
        # 固定 CLIP 权重（不参与训练）for param in vision_encoder.parameters():
            param.requires_grad = False

        # 分类层（输入 512 维，输出类别数）self.classifier = nn.Linear(512, num_classes)

    def forward(self, images):
        # 提取特征
        with torch.no_grad():
            features = vision_encoder(images).pooler_output
            features = features / features.norm(dim=1, keepdim=True)

        # 分类预测
        logits = self.classifier(features)
        return logits

实验对比（在 CIFAR-10 数据集上）：

处理方式	测试准确率
原始特征	78.2%
L2 归一化后	85.7%

归一化使特征分布在超球面上，更符合余弦相似度的计算假设。

由于 CLIP 特征已经很强：

分类层学习率：1e- 3 到 5e-3
如果微调视觉编码器：1e- 6 到 1e-5（需解冻部分层）

推荐使用 AdamW 优化器，比普通 SGD 更稳定：

optimizer = torch.optim.AdamW(model.parameters(),
    lr=3e-3,
    weight_decay=0.01  # 防止过拟合
)

两种实用方法：

样本加权：

# 计算类别权重（逆频率）class_counts = torch.bincount(labels)
weights = 1. / class_counts.float()
criterion = nn.CrossEntropyLoss(weight=weights)

过采样少数类：使用torch.utils.data.WeightedRandomSampler

对 CLIP 特征有效的增强方式：

MixUp：混合两个样本的特征和标签
CutMix：随机替换部分特征

示例实现：

def mixup(features, labels, alpha=0.2):
    lam = np.random.beta(alpha, alpha)
    index = torch.randperm(features.size(0))

    mixed_features = lam * features + (1-lam) * features[index]
    labels_a, labels_b = labels, labels[index]
    return mixed_features, labels_a, labels_b, lam

Colab 笔记本要点：

数据加载：使用 torchvision.datasets 标准接口
训练循环：注意特征提取与分类分离
评估：计算准确率和混淆矩阵

关键代码结构：

# 数据集示例（CIFAR-10）train_set = torchvision.datasets.CIFAR10(
    root="./data",
    train=True,
    transform=processor,
    download=True
)

# 训练循环
for epoch in range(10):
    for images, labels in train_loader:
        # 特征已在 transform 中提取
        optimizer.zero_grad()

        # 混合增强
        features, labels_a, labels_b, lam = mixup(images["pixel_values"], labels)
        logits = model(features)

        # 混合损失
        loss = lam * criterion(logits, labels_a) + \
               (1-lam) * criterion(logits, labels_b)

        loss.backward()
        optimizer.step()

使用 UMAP 降维观察特征分布：

import umap

def visualize_features(features, labels):
    reducer = umap.UMAP()
    embed = reducer.fit_transform(features.cpu())

    plt.scatter(embed[:,0], embed[:,1], c=labels, cmap="S10", s=1)
    plt.colorbar()

理想情况下，同类样本应聚集在一起，不同类间有明显边界。

在 2000 样本的小数据集上测试：