BERT句子嵌入表示与对比学习：原理剖析与实战优化

1次阅读

共计 1657 个字符，预计需要花费 5 分钟才能阅读完成。

在自然语言处理（NLP）任务中，句子嵌入表示的质量直接影响下游任务的性能。传统的 BERT 句子嵌入方法虽然强大，但仍存在一些局限性。本文将深入探讨 BERT 结合对比学习的句子嵌入技术，通过代码示例和优化策略，帮助开发者提升嵌入表示的质量。

BERT 模型在生成句子嵌入时，通常有两种常见方法：

CLS 向量：使用 BERT 输出的第一个 token（[CLS]）作为整个句子的表示。然而，CLS 向量在预训练时主要服务于下一句预测任务，可能无法充分捕获句子的全局语义信息。
平均池化：对所有 token 的向量取平均。这种方法虽然简单，但可能引入噪声，尤其是对于长句子，重要信息可能被稀释。

这两种方法都存在 各向异性 问题，即向量在高维空间中倾向于聚集在一个狭窄的锥形区域内，导致语义相似度计算不准确。

对比学习通过拉近相似样本（正样本）的距离，推远不相似样本（负样本）的距离，来优化嵌入空间。以下是两种主流方法的对比：

方法	优点	缺点
SimCSE	简单高效，无需额外数据	对超参数敏感，如温度系数
ConSERT	引入数据增强，提升鲁棒性	计算成本较高

我们使用 HuggingFace 的 transformers 库加载 BERT 模型和 tokenizer：

from transformers import BertModel, BertTokenizer
import torch

model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

通过继承 nn.Module 实现对比学习模型：

import torch.nn as nn

class ContrastiveBERT(nn.Module):
    def __init__(self, bert_model):
        super(ContrastiveBERT, self).__init__()
        self.bert = bert_model
        self.temperature = 0.05  # 温度系数，可调节

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        embeddings = outputs.last_hidden_state.mean(dim=1)  # 平均池化
        return embeddings

InfoNCE 损失函数是对比学习的核心：

def info_nce_loss(embeddings):
    # 计算相似度矩阵
    sim_matrix = torch.matmul(embeddings, embeddings.T) / self.temperature
    # 对角线元素为正样本对
    labels = torch.arange(embeddings.size(0)).to(embeddings.device)
    return nn.CrossEntropyLoss()(sim_matrix, labels)