CLIP模型预训练权重网址获取与使用全指南：从下载到微调实战

1次阅读

共计 2146 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的一种多模态模型，能够理解图像和文本之间的关联。它通过对比学习的方式，在大规模图像 - 文本对上进行预训练，从而学习到一个共享的嵌入空间。预训练权重是模型在大量数据上学习到的参数，直接使用这些权重可以节省大量训练时间和计算资源，特别适合中小团队快速实现多模态应用。

OpenAI 官方提供了 CLIP 模型的预训练权重，可以通过以下方式获取：

访问 OpenAI 的 GitHub 仓库（https://github.com/openai/CLIP）
查看 README 文件中的模型下载链接
官方提供了多种规模的模型权重（如 ViT-B/32, ViT-L/14 等）

Hugging Face 已经成为深度学习社区最流行的模型托管平台之一：

访问 Hugging Face 模型库（https://huggingface.co/models）
搜索 ”CLIP” 即可找到各种版本的预训练权重
社区维护的权重通常包含更多 fine-tuned 变体

学术论文作者个人主页
云服务商提供的模型市场（如 AWS/Azure 的模型库）
国内镜像站点（适用于网络访问受限的情况）

以下是使用 Python 和 PyTorch 加载 CLIP 预训练权重的完整代码示例：

import torch
import clip
from PIL import Image

# 1. 下载并加载预训练模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 2. 准备输入数据
image = preprocess(Image.open("example.jpg")).unsqueeze(0).to(device)
text = clip.tokenize(["a photo of a cat", "a photo of a dog"]).to(device)

# 3. 获取特征表示
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

# 4. 计算相似度
logits_per_image, logits_per_text = model(image, text)
probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)

收集特定领域的图像 - 文本对数据集
确保数据格式与原始 CLIP 训练数据类似
建议数据量至少 1 万对以上

# 加载基础模型
model, _ = clip.load("ViT-B/32", device=device)

# 解冻部分层进行微调
for param in model.visual.transformer.resblocks[-4:].parameters():
    param.requires_grad = True

for param in model.transformer.resblocks[-4:].parameters():
    param.requires_grad = True

# 定义优化器
optimizer = torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()),
    lr=5e-6,
    weight_decay=0.01
)