从零理解CLIP的双塔对比学习架构：原理与实战指南

1次阅读

共计 1748 个字符，预计需要花费 5 分钟才能阅读完成。

视觉与语言作为两种天然异构的模态，存在显著的语义表达差异：

模态离散性 ：图像是连续像素空间，文本是离散符号序列，传统方法难以建立统一表征
监督信号缺失 ：海量互联网图文数据缺乏精细标注，制约跨模态关联学习
传统方法局限 ：
早期工作依赖目标检测 + 模板匹配，泛化能力差
联合嵌入模型受限于小规模标注数据，难以捕捉细粒度语义

图像编码器（Image Tower）：
– ViT 优势 ：
– 全局注意力机制适合捕捉长程依赖
– 分层结构利于多尺度特征提取
– CNN 替代方案 ：
– ResNet-50 在计算资源有限时仍具竞争力
– 局部感受野更适合纹理密集场景

文本编码器（Text Tower）：
– BERT 选择 ：
– 双向 Transformer 建模上下文语义
– [CLS] token 天然适合句向量表示
– GPT 对比 ：
– 自回归特性更适合生成任务
– 单向注意力限制语义理解深度

InfoNCE 损失函数数学表达：

L = -log[exp(sim(q,k+)/τ) / ∑(exp(sim(q,k)/τ))]

温度系数 τ ：控制困难负样本的惩罚强度
物理意义 ：
分子推动正样本对相似度
分母压制负样本对相似度
隐含实现跨模态对齐和模态内聚类

class ContrastiveDataset(Dataset):
    def __init__(self, image_dir, text_path):
        self.image_transform = Compose([Resize(256),
            CenterCrop(224),
            ToTensor(),
            Normalize(mean=[0.485, 0.456, 0.406], 
                     std=[0.229, 0.224, 0.225])
        ])
        # 实现__len__和__getitem__方法

class ProjectionHead(nn.Module):
    def __init__(self, dim_in, dim_out):
        super().__init__()
        self.fc1 = nn.Linear(dim_in, dim_in)
        self.gelu = nn.GELU()
        self.fc2 = nn.Linear(dim_in, dim_out)
        # 实现 forward

class CLIPModel(nn.Module):
    def __init__(self, image_encoder, text_encoder):
        super().__init__()
        self.image_encoder = image_encoder
        self.text_encoder = text_encoder
        # 初始化投影头

def contrastive_loss(logits, labels):
    return F.cross_entropy(logits, labels)

# 关键超参数说明
batch_size = 1024  # 影响负样本数量
temperature = 0.07  # 典型值范围 [0.01, 0.1]

# 梯度裁剪防止爆炸
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)