深入解析CLIP图像编码器结构：从ViT到实际应用

1次阅读

共计 2156 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的跨模态学习模型，它通过对比学习将图像和文本映射到统一的特征空间。其中，图像编码器作为视觉特征提取的核心组件，直接决定了模型对图像内容的理解能力。传统基于 CNN 的编码器在跨模态任务中表现有限，而 CLIP 创新性地采用 Vision Transformer（ViT）架构，大幅提升了特征表达的统一性和泛化能力。

卷积运算的局部感受野限制了对图像全局语义的捕捉
池化操作导致空间信息丢失，不利于细粒度跨模态对齐
层级特征融合困难，难以适应不同粒度的文本描述

高分辨率图像需要多层卷积堆叠，计算量呈平方级增长
特征图通道数爆炸导致显存占用过高
批量归一化等操作阻碍分布式训练扩展

视觉特征与文本特征的维度不匹配
模态间距离度量需要特殊的损失函数设计
语义鸿沟导致零样本迁移效果下降

CLIP 图像编码器采用 ViT-base 架构，主要改进点包括：

输入处理：将 224×224 图像划分为 16×16 的 patches（共 196 个）
线性投影：每个 patch 展平为 768 维向量（公式：z = xW + b）
可学习位置编码：E_pos ∈ R^(196×768)
分类 token：在序列首部添加[CLS]token 用于全局特征聚合

多头注意力（MHA）计算过程：

Attention(Q,K,V) = softmax(QK^T/√d)V

其中：
– Q, K, V分别通过线性变换得到
– d为 head 维度（通常取 64）
– CLIP 采用 12 个注意力头实现并行计算

放弃原始 ViT 的固定正弦编码
采用可学习的位置参数矩阵
支持通过插值适应不同输入尺寸

import torch
import torch.nn as nn

class PatchEmbed(nn.Module):
    """将图像分割为 patches 并嵌入"""
    def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768):
        super().__init__()
        self.img_size = img_size
        self.patch_size = patch_size
        self.n_patches = (img_size // patch_size) ** 2

        # 使用卷积实现 patch 投影
        self.proj = nn.Conv2d(
            in_chans, embed_dim, 
            kernel_size=patch_size, 
            stride=patch_size
        )

    def forward(self, x):
        """
        输入: (B, C, H, W)
        输出: (B, n_patches, embed_dim)
        """
        x = self.proj(x)  # (B, E, H/P, W/P)
        x = x.flatten(2)  # (B, E, N)
        x = x.transpose(1, 2)  # (B, N, E)
        return x

import matplotlib.pyplot as plt

def plot_attention(attention_weights, patch_size=16):
    """绘制第 0 个头的注意力热力图"""
    plt.figure(figsize=(10,10))
    head0 = attention_weights[0, 0].detach().cpu().numpy()
    plt.imshow(head0, cmap='viridis')
    plt.colorbar()
    plt.title("Attention Head 0")
    plt.xlabel("Key Position")
    plt.ylabel("Query Position")