图文对比学习(Align)从入门到实战：基于对比学习的跨模态理解

1次阅读

共计 1637 个字符，预计需要花费 5 分钟才能阅读完成。

跨模态表示学习是让 AI 同时理解图像和文本信息的关键技术。传统方法通常需要复杂的标注（如图像分割标签或文本解析树），而对比学习通过自监督方式，仅需匹配的图文对即可训练模型学习语义关联。ALign（Aligning Images and Text）正是这一领域的代表性方法。

对比损失驱动学习：模型通过拉近匹配图文对的嵌入距离，同时推开不匹配对的距离
双塔架构：
图像编码器（如 ResNet）提取视觉特征
文本编码器（如 BERT）提取文本特征
温度系数 τ ：控制相似度的敏感度，经验值通常取 0.05-0.2

import torch
import torch.nn as nn
from transformers import BertModel, BertTokenizer
from torchvision.models import resnet50

class AlignModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 图像编码器（输出维度 768）self.img_encoder = resnet50(pretrained=True)
        self.img_encoder.fc = nn.Linear(2048, 768)

        # 文本编码器
        self.text_encoder = BertModel.from_pretrained('bert-base-uncased')

    def forward(self, images, text_ids, text_mask):
        img_emb = self.img_encoder(images)  # [batch, 768]
        text_emb = self.text_encoder(
            input_ids=text_ids,
            attention_mask=text_mask
        ).last_hidden_state[:,0,:]  # [batch, 768]

        # 特征归一化
        img_emb = nn.functional.normalize(img_emb, dim=1)
        text_emb = nn.functional.normalize(text_emb, dim=1)

        return img_emb, text_emb

def contrastive_loss(img_emb, text_emb, temperature=0.1):
    # 计算相似度矩阵
    logits = torch.matmul(img_emb, text_emb.T) / temperature

    # 对称对比损失
    labels = torch.arange(len(img_emb)).to(img_emb.device)
    loss_img = nn.CrossEntropyLoss()(logits, labels)
    loss_text = nn.CrossEntropyLoss()(logits.T, labels)

    return (loss_img + loss_text) / 2