深入解析CLIP图像编码器结构：从ViT到实际应用

1次阅读

共计 2456 个字符，预计需要花费 7 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的跨模态预训练模型，通过对比学习将图像和文本嵌入到同一语义空间。其核心创新在于图像编码器采用 Vision Transformer（ViT）结构，突破了传统 CNN 在跨模态任务中的局限。图像编码器负责将像素空间映射到高级语义空间，其设计直接影响特征质量和计算效率。

传统计算机视觉任务中，CNN 架构存在三个关键瓶颈：

感受野限制：CNN 的局部感受野难以建模全局视觉关系，而跨模态对齐需要捕捉图像整体语义
计算冗余：深层 CNN 的重复下采样导致低效特征提取，处理高分辨率图像时显存消耗呈平方增长
模态鸿沟：CNN 提取的局部纹理特征与文本语义存在表征 gap，难以直接建立对齐关系

CLIP 的图像编码器基于 ViT-L/14 架构（论文《An Image is Worth 16×16 Words》），主要改进点包括：

Patch Embedding 层：将 224×224 输入图像分割为 14×14 的 196 个 patch（每个 16×16 像素）
线性投影矩阵：使用可学习的 $W_p \in \mathbb{R}^{(16^2\times3)\times D}$ 将每个 patch 展平为 768 维向量（D=768）

数学表达：
$$z_0 = [x_{class}; W_p x_p^1; W_p x_p^2; …; W_p x_p^N] + E_{pos}$$
其中 $E_{pos}$ 为位置编码

CLIP 采用 12 层 Transformer Block，每层包含：

多头注意力（MSA）：
$$MSA(Q,K,V) = Concat(head_1,…,head_h)W^O$$
$$head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)$$
MLP 扩展：两层全连接，中间扩展维度为 3072
Layer Norm：前置归一化（Pre-LN）结构提升训练稳定性

不同于原始 ViT 的固定正弦编码，CLIP 采用可学习的 1D 位置编码：
$$E_{pos} \in \mathbb{R}^{(N+1)\times D}$$
实践表明这更适合跨模态任务，能更好保留空间层级信息

import torch
import torch.nn as nn

class PatchEmbed(nn.Module):
    """
    2D 图像转序列化 Patch Embedding
    输入尺寸：(B, C, H, W)
    输出尺寸：(B, L, D)
    """
    def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768):
        super().__init__()
        self.img_size = (img_size, img_size)
        self.patch_size = (patch_size, patch_size)
        self.num_patches = (img_size // patch_size) ** 2
        self.proj = nn.Conv2d(in_chans, embed_dim, 
                            kernel_size=patch_size, 
                            stride=patch_size)  # 等价于展平 + 线性投影

    def forward(self, x):
        B, C, H, W = x.shape
        assert H == self.img_size[0], f"输入图像高度 {H} 不等于预设{self.img_size[0]}"
        assert W == self.img_size[1], f"输入图像宽度 {W} 不等于预设{self.img_size[1]}"
        x = self.proj(x).flatten(2).transpose(1, 2)  # (B, D, H//p, W//p) -> (B, D, N) -> (B, N, D)
        return x

import matplotlib.pyplot as plt

def plot_attention(attention_weights, patch_size=16):
    """
    可视化 CLIP 最后一层注意力图
    attention_weights: (num_heads, N, N)
    """
    plt.figure(figsize=(10, 10))
    for i in range(len(attention_weights)):
        attn = attention_weights[i].mean(dim=0)  # 平均所有 token 的注意力
        plt.subplot(4, 3, i+1)
        plt.imshow(attn.cpu().numpy(), cmap='viridis')
        plt.title(f'Head {i+1}')
    plt.tight_layout()
    plt.show()

当输入分辨率≠224 时，推荐方案：