BERT句子嵌入表示优化实战：基于对比学习的高效语义匹配方案

1次阅读

没有评论

共计 2082 个字符，预计需要花费 6 分钟才能阅读完成。

在语义相似度计算任务中，传统 BERT 句向量表示存在几个明显缺陷：

[CLS]标志位向量作为句子表征时，由于 BERT 预训练任务（MLM）与下游语义匹配任务存在差异，导致语义信息丢失严重
静态嵌入无法适应不同语境下的语义变化，例如 ” 苹果 ” 在水果和科技公司两种场景下的含义
直接使用 BERT 计算相似度需要两两组合计算注意力，当处理百万级语料时时间复杂度达到 O(n²)

常见解决方案横向对比：

Sentence-BERT：通过孪生网络结构获取固定维度的句向量，但仅使用简单的分类 / 回归损失，难以学习细粒度语义关系
SimCSE：通过 dropout 构建正样本的自监督对比学习，但对负样本利用不足
TSDAE：基于去噪自编码器，更适合低资源场景但效果不稳定

选择对比学习框架的核心优势：

通过拉近正样本、推远负样本的显式优化目标，直接优化嵌入空间结构
充分利用 batch 内负样本(in-batch negatives)，无需额外存储负样本队列
结合难负样本挖掘可有效解决表征坍缩问题

from transformers import BertModel

class DualBert(nn.Module):
    def __init__(self, model_name='bert-base-uncased'):
        super().__init__()
        # 共享参数的 BERT 编码器
        self.encoder = BertModel.from_pretrained(model_name)
        # 映射到低维空间
        self.proj = nn.Linear(768, 256)

    def forward(self, input_ids, attention_mask):
        outputs = self.encoder(input_ids, attention_mask=attention_mask)
        # 取 [CLS] 向量作为句表征
        cls_rep = outputs.last_hidden_state[:, 0, :]
        # L2 归一化投影
        return F.normalize(self.proj(cls_rep), p=2, dim=1)

def contrastive_loss(z1, z2, temperature=0.1, neg_ratio=3):
    """
    z1, z2: 正样本对的特征向量 [batch_size, dim]
    neg_ratio: 难负样本比例
    """
    batch_size = z1.size(0)
    # 计算正样本相似度
    pos_sim = F.cosine_similarity(z1, z2, dim=1) / temperature

    # 构建负样本矩阵
    neg_mask = ~torch.eye(batch_size, dtype=torch.bool)
    z1_neg = z1.unsqueeze(1).expand(-1, batch_size, -1)[neg_mask].view(batch_size, -1, 256)
    z2_neg = z2.unsqueeze(0).expand(batch_size, -1, -1)[neg_mask].view(batch_size, -1, 256)

    # 难负样本筛选（相似度最高的负样本）neg_sim = torch.bmm(z1_neg, z2_neg.transpose(1,2)) / temperature
    topk = min(neg_ratio * batch_size, neg_sim.size(1))
    hard_neg = neg_sim.topk(topk, dim=1)[0]

    # InfoNCE 损失计算
    numerator = torch.exp(pos_sim)
    denominator = numerator + torch.exp(hard_neg).sum(1)
    return -torch.log(numerator / denominator).mean()