BERT与对比学习入门指南：从基础原理到实战应用

1次阅读

共计 3722 个字符，预计需要花费 10 分钟才能阅读完成。

自然语言处理（NLP）领域中，预训练语言模型如 BERT（Bidirectional Encoder Representations from Transformers）已经取得了巨大成功。然而，BERT 等模型的性能高度依赖于大量标注数据，这在实际应用中往往是一个瓶颈。对比学习（Contrastive Learning）作为一种自监督学习方法，能够有效利用未标注数据，提升模型的表征（representation）能力。本文将介绍如何将对比学习与 BERT 结合，通过 PyTorch 实现一个简单的对比学习任务，并分享实践中的经验与技巧。

BERT 通过大规模预训练学习通用的语言表征，但其微调阶段仍需要大量标注数据。对比学习的核心思想是通过学习正样本对（相似样本）和负样本对（不相似样本）之间的差异，使模型能够更好地区分不同类别的数据。这种方法的优势在于：

减少对标注数据的依赖：对比学习可以利用未标注数据，通过数据增强生成正负样本对。
提升表征质量：通过对比学习，BERT 可以学习到更具判别性的表征，从而在下游任务中表现更好。
适用于多模态任务：对比学习不仅可以用于文本，还可以扩展到图像、音频等多模态数据。

传统监督学习通过最小化预测标签与真实标签之间的差异（如交叉熵损失）来训练模型。而对比学习则通过优化正负样本对之间的相似度来学习表征。具体来说，对比学习的核心是 InfoNCE 损失函数（Noise Contrastive Estimation）：

$$
\mathcal{L}{InfoNCE} = -\log \frac{\exp(sim(q, k+) / \tau)}{\sum_{i=1}^N \exp(sim(q, k_i) / \tau)}
$$

其中：
– (q) 是查询样本（query）的表征。
– (k_+) 是正样本（positive key）的表征。
– (k_i) 是负样本（negative key）的表征。
– (\tau) 是温度系数（temperature），控制相似度的分布。
– (sim(\cdot, \cdot) ) 是相似度函数，通常为余弦相似度。

与传统监督学习相比，对比学习的优势在于：

更鲁棒的表征：通过对比学习，模型能够学习到更具判别性的表征，而不仅仅是拟合标签。
更强的泛化能力：对比学习可以通过数据增强生成多样化的正负样本对，提升模型的泛化能力。

我们使用 HuggingFace Transformers 库加载预训练的 BERT 模型：

from transformers import BertModel, BertTokenizer
import torch

# 加载 BERT 模型和分词器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 示例：编码文本
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)
outputs = model(**inputs)
embeddings = outputs.last_hidden_state  # [batch_size, seq_len, hidden_size]

对比学习的关键是构建正负样本对。对于文本数据，可以通过以下方式生成正样本：

数据增强：对同一文本进行轻微修改（如替换同义词、随机删除词等）。
上下文窗口：从同一文档中提取相邻的句子作为正样本。

负样本则通常来自同一批次（batch）中的其他样本。

# 示例：构建正负样本对
def generate_positive_pairs(texts, tokenizer, model):
    # 对文本进行数据增强（这里简化为重复文本）augmented_texts = [text + "(augmented)" for text in texts]

    # 编码原始文本和增强文本
    inputs_original = tokenizer(texts, return_tensors='pt', padding=True, truncation=True)
    inputs_augmented = tokenizer(augmented_texts, return_tensors='pt', padding=True, truncation=True)

    with torch.no_grad():
        outputs_original = model(**inputs_original)
        outputs_augmented = model(**inputs_augmented)

    # 获取 CLS token 的表征作为句子的全局表征
    embeddings_original = outputs_original.last_hidden_state[:, 0, :]  # [batch_size, hidden_size]
    embeddings_augmented = outputs_augmented.last_hidden_state[:, 0, :]

    return embeddings_original, embeddings_augmented

以下是 InfoNCE 损失函数的 PyTorch 实现：

import torch.nn.functional as F

def contrastive_loss(query, positive_key, temperature=0.1):
    # 计算查询样本与正样本的相似度
    positive_sim = F.cosine_similarity(query, positive_key, dim=-1)  # [batch_size]

    # 计算查询样本与批次中所有样本的相似度（包括正样本和其他负样本）all_sim = F.cosine_similarity(query.unsqueeze(1), positive_key.unsqueeze(0), dim=-1)  # [batch_size, batch_size]

    # 计算 InfoNCE 损失
    numerator = torch.exp(positive_sim / temperature)
    denominator = torch.sum(torch.exp(all_sim / temperature), dim=1)
    loss = -torch.log(numerator / denominator)

    return loss.mean()

温度系数 (\tau) 是对比学习中的关键超参数：