CLIP预训练实战：从零开始提取高质量图像特征

1次阅读

共计 2175 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，传统方法（如 ResNet 最后一层全连接特征）存在明显局限性：

领域依赖性强：在 ImageNet 上训练的特征，迁移到医疗影像等专业领域时效果骤降
模态单一：无法与文本等其他模态数据建立关联
泛化能力弱：遇到未见过的类别时需要重新训练

CLIP（Contrastive Language-Image Pretraining）通过对比学习实现突破：

训练方式：同时学习 4 亿对图文数据，拉近匹配对的嵌入距离
架构优势：双塔结构（图像编码器 + 文本编码器）支持跨模态检索
Zero-shot 能力：无需微调即可对新类别进行分类

指标	CNN(ResNet50)	ViT-B/16	CLIP-ViT-B/16
特征维度	2048	768	512
计算量(FLOPs)	4.1G	17.6G	18.3G
跨模态支持	×	×	√
Zero-shot	×	×	√

# 安装关键库
!pip install transformers torch torchvision pillow

import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

# 1. 模型加载（自动下载预训练权重）model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)

# 2. 图像预处理（自动处理 CenterCrop 和 Normalization）image = Image.open("demo.jpg")
inputs = processor(images=image, return_tensors="pt", padding=True)
inputs = {k:v.to(device) for k,v in inputs.items()}

# 3. 特征提取（批处理模式）with torch.no_grad():
    features = model.get_image_features(**inputs)
    features /= features.norm(dim=-1, keepdim=True)  # 归一化

print(f"特征向量维度：{features.shape}")  # 输出 torch.Size([1, 512])

# 计算两幅图像的余弦相似度
image1_feat = get_features("image1.jpg")  # 复用上述函数
image2_feat = get_features("image2.jpg")

similarity = (image1_feat @ image2_feat.T).item()
print(f"图像相似度：{similarity:.4f}")

梯度检查点：

model.gradient_checkpointing_enable()  # 时间换空间

混合精度训练：

scaler = torch.cuda.amp.GradScaler()
with torch.amp.autocast(device_type='cuda'):
    features = model(**inputs)

PCA：当需要线性降维且保留全局结构时
t-SNE：适合可视化高维特征（通常降到 2D/3D）

from sklearn.decomposition import PCA

# 将 512 维特征降到 64 维
pca = PCA(n_components=64)
reduced_features = pca.fit_transform(features.cpu().numpy())

在 CIFAR-10 测试集上的表现：

模型	特征提取耗时(ms)	线性分类准确率
ResNet50	15.2	78.3%
CLIP-ViT-B/32	22.7	85.1%

如何实现图文跨模态检索？核心步骤：

使用 CLIP 文本编码器处理查询语句
计算文本特征与图像特征库的余弦相似度
返回 Top- K 最匹配图像

text_inputs = processor(text=["a photo of cat"], return_tensors="pt", padding=True)
with torch.no_grad():
    text_features = model.get_text_features(**text_inputs)
    text_features /= text_features.norm(dim=-1, keepdim=True)

# 计算与所有图像特征的相似度
similarities = (text_features @ image_features.T).softmax(dim=1)