BYOL对比学习原理解析与自监督实践指南

1次阅读

共计 2204 个字符，预计需要花费 6 分钟才能阅读完成。

近年来，自监督学习在计算机视觉领域展现出巨大潜力。它通过设计巧妙的代理任务（pretext task），让模型从未标注数据中自动学习有意义的特征表示。对比学习作为自监督的重要分支，其核心思想是通过拉近相似样本（正样本对）、推开不相似样本（负样本对）来学习特征表达。

然而传统对比学习方法（如 SimCLR）面临两个显著挑战：

负样本依赖 ：需要大量负样本防止模型坍塌（collapse），这导致：
内存消耗随负样本数量线性增长
负样本采样策略直接影响模型性能
计算开销 ：大规模负样本对比需要昂贵的计算资源

BYOL 创新性地采用在线网络（online network）和目标网络（target network）的双分支结构：

在线网络 ：
包含编码器 $f_θ$、投影头 $g_θ$ 和预测头 $q_θ$
通过梯度下降实时更新参数
目标网络 ：
结构与在线网络对称（$f_ξ$, $g_ξ$）
参数通过动量更新：$ξ ← τξ + (1-τ)θ$

# PyTorch 实现示例
class BYOL(nn.Module):
    def __init__(self, backbone):
        super().__init__()
        # 在线网络
        self.online_encoder = backbone
        self.online_projector = Projector()
        self.online_predictor = Predictor()

        # 目标网络（不计算梯度）self.target_encoder = copy.deepcopy(backbone)
        self.target_projector = copy.deepcopy(Projector())
        for param in self.target_parameters():
            param.requires_grad_(False)

目标网络的参数更新遵循：

$$ξ ← τξ + (1-τ)θ$$

其中动量系数 $τ$ 通常设为 0.99-0.999，该设计带来三大优势：

避免直接复制参数导致的模型坍塌
为目标网络提供更稳定的特征表示
自然地实现历史状态加权平均

预测头 $q_θ$ 是 BYOL 不依赖负样本的关键：

将在线网络的输出映射到目标网络的空间
采用 MLP 结构（通常 2 - 3 层）
训练完成后可丢弃，仅保留编码器

BYOL 对增强组合非常敏感，推荐使用以下组合（PyTorch 实现）：

def get_augmentations():
    return transforms.Compose([transforms.RandomResizedCrop(32, scale=(0.08, 1.0)),
        transforms.RandomHorizontalFlip(p=0.5),
        transforms.ColorJitter(0.4, 0.4, 0.4, 0.1),
        transforms.RandomGrayscale(p=0.2),
        transforms.GaussianBlur(kernel_size=3),
        transforms.ToTensor()])

def loss_fn(p, z):  # z 已停止梯度
    p = F.normalize(p, dim=1)
    z = F.normalize(z, dim=1)
    return 2 - 2 * (p * z).sum(dim=-1).mean()

# 前向过程示例
def forward(x1, x2):
    # 在线网络处理视图 1
    p1 = self.online_predictor(self.online_projector(self.online_encoder(x1)))

    # 目标网络处理视图 2（无梯度）with torch.no_grad():
        z2 = self.target_projector(self.target_encoder(x2))

    # 对称计算
    p2 = ... # 视图 2 的在线输出
    z1 = ... # 视图 1 的目标输出

    return loss_fn(p1, z2) + loss_fn(p2, z1)