BGE对比学习训练实战：从原理到高效实现

1次阅读

共计 1892 个字符，预计需要花费 5 分钟才能阅读完成。

图嵌入（Graph Embedding）是将图中的节点映射到低维向量空间的技术，广泛应用于社交网络分析、推荐系统等领域。对比学习（Contrastive Learning）通过拉近正样本、推开负样本来学习有效表示。传统图嵌入训练方法存在几个明显痛点：

负采样效率低：随机负采样可能导致大量低质量负样本，影响模型收敛
收敛速度慢：尤其是在大规模图上，训练过程可能需要数天
内存占用高：存储全图邻接矩阵对显存要求极高

BGE（Bootstrapped Graph Embedding）的核心创新在于引入 Bootstrapping 机制，通过迭代优化提升负样本质量。与其他方法对比：

Node2Vec：基于随机游走，无法动态调整采样策略
GraphSAGE：聚合邻域信息但忽略全局结构
BGE 优势：
动态调整负采样分布
显式建模高阶相似性
端到端可微分训练

import torch
import torch.nn as nn

class BGEModel(nn.Module):
    def __init__(self, num_nodes, embedding_dim):
        super().__init__()
        self.node_emb = nn.Embedding(num_nodes, embedding_dim)
        self.scale = 0.1  # 温度系数

    def forward(self, anchor, positive, negatives):
        # 获取所有节点表示
        h_anchor = self.node_emb(anchor)  # [batch_size, dim]
        h_pos = self.node_emb(positive)   # [batch_size, dim]
        h_negs = self.node_emb(negatives) # [batch_size, num_negs, dim]

        # 计算相似度
        pos_sim = torch.sum(h_anchor * h_pos, dim=-1) / self.scale
        neg_sim = torch.einsum('bd,bnd->bn', h_anchor, h_negs) / self.scale

        # InfoNCE 损失
        logits = torch.cat([pos_sim.unsqueeze(-1), neg_sim], dim=-1)
        labels = torch.zeros(logits.size(0), dtype=torch.long).to(anchor.device)
        return F.cross_entropy(logits, labels)

class DynamicNegativeSampler:
    def __init__(self, num_nodes, initial_dist=None):
        self.num_nodes = num_nodes
        self.probs = torch.ones(num_nodes)/num_nodes if initial_dist is None else initial_dist

    def update(self, node_ids, similarity_scores):
        # 根据相似度更新采样概率
        self.probs[node_ids] = F.softmax(similarity_scores, dim=-1)

    def sample(self, batch_size, num_negs):
        # 按当前分布采样
        return torch.multinomial(self.probs, batch_size*num_negs, replacement=True)