多模态对比学习实战：从零构建align模型的核心技术与避坑指南

1次阅读

共计 1793 个字符，预计需要花费 5 分钟才能阅读完成。

在视觉 - 文本多模态任务中，最大的挑战是两种模态的特征空间天然存在鸿沟。假设图像特征 $v_i \in \mathbb{R}^{d_v}$ 和文本特征 $t_j \in \mathbb{R}^{d_t}$，传统方法直接计算它们的余弦相似度：

$$\text{sim}(v_i, t_j) = \frac{v_i^T t_j}{|v_i|\cdot|t_j|}$$

这种简单对齐方式会导致：

模态间尺度差异（如图像特征的 L2 范数普遍大于文本特征）
高阶语义信息丢失（如 ” 狗追球 ” 和对应图片的局部特征匹配失败）

架构	参数量(M)	计算复杂度	解耦能力
CLIP	150	O(n^2)	弱
FLAVA	350	O(n^3)	中等
align	80	O(n)	强

align 的核心改进在于：

轻量级投影头 (Projection Head) 实现降维
动态温度系数 $\tau$ 自适应调节相似度分布

import torch
import torch.nn as nn

class ProjectionHead(nn.Module):
    """
    Args:
        input_dim: 输入特征维度
        output_dim: 输出特征维度
        dropout: Dropout 概率
    """
    def __init__(self, input_dim: int, output_dim: int, dropout: float = 0.1):
        super().__init__()
        self.net = nn.Sequential(nn.Linear(input_dim, output_dim),
            nn.LayerNorm(output_dim),
            nn.GELU(),
            nn.Dropout(dropout),
            nn.Linear(output_dim, output_dim)
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.net(x)

损失函数由两部分组成：

$$\mathcal{L}{i2t} = -\log\frac{\exp(\text{sim}(v_i,t_i)/\tau)}{\sum$$}^N \exp(\text{sim}(v_i,t_j)/\tau)

$$\mathcal{L}{t2i} = -\log\frac{\exp(\text{sim}(t_i,v_i)/\tau)}{\sum$$}^N \exp(\text{sim}(t_i,v_j)/\tau)

总损失为：
$$\mathcal{L} = \frac{1}{2}(\mathcal{L}{i2t} + \mathcal{L})$$

梯度传播特点：

正样本对梯度方向增强相似度
负样本对梯度幅度与当前相似度正相关

当图像数据量是文本的 10 倍时：

对文本数据采用 动态重复采样
在每个 epoch 随机复制文本样本 1~10 次

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    loss = model(batch)

scaler.scale(loss).backward()
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), 2.0)  # 阈值设为 2.0
scaler.step(optimizer)
scaler.update()