从零开始理解CLIP与扩散模型：原理、实现与避坑指南

1次阅读

共计 2003 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）和扩散模型是近年来计算机视觉领域的两大突破。CLIP 通过对比学习实现了图像和文本的跨模态理解，打破了传统模型需要固定类别标签的限制。扩散模型则通过逐步去噪的过程，实现了高质量图像生成，效果远超传统 GAN。这两项技术结合，为 AIGC（AI 生成内容）开辟了新方向。

特性	CLIP	传统模型（如 ResNet）
输入类型	图像 + 文本对	仅图像
输出形式	跨模态嵌入空间	固定类别概率分布
训练目标	对比学习（相似度最大化）	交叉熵损失
零样本能力	支持	不支持
数据需求	大规模图文对	标注好的分类数据集

CLIP 的核心是对比损失（InfoNCE loss），目标是将匹配的图文对在嵌入空间中拉近，不匹配的推远。以下是 PyTorch 实现关键代码：

import torch
import torch.nn.functional as F

def clip_loss(image_embeddings, text_embeddings, temperature=0.07):
    """
    image_embeddings: [batch_size, embed_dim]
    text_embeddings: [batch_size, embed_dim]
    """
    # 归一化嵌入向量
    image_embeddings = F.normalize(image_embeddings, p=2, dim=-1)
    text_embeddings = F.normalize(text_embeddings, p=2, dim=-1)

    # 计算相似度矩阵
    logits = torch.matmul(image_embeddings, text_embeddings.t()) / temperature

    # 对称对比损失
    labels = torch.arange(logits.shape[0], device=logits.device)
    loss_i = F.cross_entropy(logits, labels)  # 图像 -> 文本
    loss_t = F.cross_entropy(logits.t(), labels)  # 文本 -> 图像
    return (loss_i + loss_t) / 2

扩散模型包含两个过程：

前向过程（加噪）：
$$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t\mathbf{I})$$
其中 $\beta_t$ 是噪声调度参数
反向过程（去噪）：
$$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t,t), \Sigma_\theta(x_t,t))$$
模型学习预测噪声 $\epsilon_\theta$ 来逐步还原图像

图像尺寸不一致 ：
问题：输入图像未统一缩放到相同尺寸
解决：使用中心裁剪 +resize 到固定尺寸（如 224×224）
文本 token 过长 ：
问题：超过模型最大长度限制（通常 77 个 token）
解决：添加截断处理，优先保留名词性短语
批次内负样本不足 ：
问题：小批次导致对比学习效果差
解决：使用梯度累积或更大的 batch size（至少 512）

from torch.utils.checkpoint import checkpoint

# 在 UNet 的前向传播中启用
def forward(self, x, t):
    return checkpoint(self._forward, x, t)  # 减少约 70% 显存

# 对大图像分块处理
def generate_large_image(model, size=(1024,1024)):
    tiles = split_into_tiles(size, tile_size=256)
    for tile in tiles:
        tile = model.generate(tile)
    return merge_tiles(tiles)