从CLIP到DALL·E2：图文对齐与写实图像生成的技术演进与实战

1次阅读

共计 1833 个字符，预计需要花费 5 分钟才能阅读完成。

图文对齐（Text-Image Alignment）是跨模态学习的核心问题，传统方法面临两大瓶颈：

特征空间异构性 ：文本的离散符号与图像的连续像素在数学表示上存在天然鸿沟，早期方法（如词袋模型 +CNN）仅能捕捉浅层关联
语义粒度失配 ：手工设计的损失函数（如余弦相似度）难以建模复杂语义关系，导致生成图像出现 ” 语义漂移 ” 现象

对比学习框架 ：通过 400M 图文对预训练，学习统一的 Embedding 空间
零样本迁移能力 ：无需下游任务微调即可完成跨模态检索
计算效率 ：ViT-B/32 版本仅需 4GB 显存即可部署

特性	GAN	VAE	扩散模型
训练稳定性	差（模式崩溃）	中等	优秀
生成质量	高频细节丢失	模糊	照片级真实感
计算成本	低（单次前向）	中等	高（迭代采样）

# 简化版 CLIP 双编码器结构
class CLIP(nn.Module):
    def __init__(self):
        super().__init__()
        self.text_encoder = Transformer(width=512, layers=12, heads=8)
        self.image_encoder = VisionTransformer(
            input_resolution=224,
            patch_size=32,
            width=768,
            layers=12,
            heads=12
        )
        self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/0.07))

关键训练参数：

批量大小：32,768（采用梯度累积实现）
学习率：5e-4（余弦衰减调度）
训练步数：250,000（256 块 TPUv3 训练两周）

CLIP 预训练 ：固定文本编码器参数
先验模型训练 ：将文本 embedding 映射到图像 embedding 空间（使用扩散模型）
解码器微调 ：64×64→256×256→1024×1024 级联超分

import torch
from PIL import Image
import clip

# 加载预训练模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 图文相似度计算
text_inputs = clip.tokenize(["a dog playing frisbee"]).to(device)
image = preprocess(Image.open("dog.jpg")).unsqueeze(0).to(device)

with torch.no_grad():
    text_features = model.encode_text(text_inputs)
    image_features = model.encode_image(image)

    # 归一化后计算余弦相似度
    text_features /= text_features.norm(dim=-1, keepdim=True)
    image_features /= image_features.norm(dim=-1, keepdim=True)
    similarity = (text_features @ image_features.T).item()

print(f"Similarity score: {similarity:.3f}")