对比学习（CMC）从入门到实战：原理详解与代码实现

1次阅读

共计 1600 个字符，预计需要花费 4 分钟才能阅读完成。

对比学习（Contrastive Multiview Coding, CMC）是自监督学习中的一项重要技术，它通过利用数据的不同视图（例如同一张图片的不同裁剪或颜色通道）来学习特征表示，而无需人工标注。对于初学者来说，实现 CMC 模型时常常会遇到以下问题：

负样本选择 ：如何高效地从大量未标注数据中构建负样本对？
损失函数不稳定 ：InfoNCE 损失函数在训练初期容易出现数值不稳定问题。
调参复杂 ：温度参数、学习率等超参数的选择对模型性能影响较大。

传统监督学习依赖于大量标注数据，而 CMC 通过最大化同一数据不同视图之间的一致性，同时最小化不同数据视图之间的一致性，从而学习到有意义的特征表示。这种自监督的方式大大减少了对标注数据的依赖。

数据增强 ：对输入数据生成多个视图（例如随机裁剪、颜色抖动等）。
编码器网络 ：将不同视图的数据通过同一个编码器（如 ResNet）映射到特征空间。
对比损失计算 ：在特征空间中计算视图之间的相似度，并优化 InfoNCE 损失函数。

InfoNCE 损失函数的数学表达式为：

L = -log(exp(sim(z_i, z_j)/τ) / ∑_{k=1}^N exp(sim(z_i, z_k)/τ))

其中，sim 是余弦相似度，τ 是温度参数，N 是负样本的数量。

以下是一个使用 PyTorch 实现的基础 CMC 模型示例：

import torch
import torch.nn as nn
import torch.nn.functional as F

class CMC(nn.Module):
    def __init__(self, encoder, tau=0.1):
        super(CMC, self).__init__()
        self.encoder = encoder
        self.tau = tau  # 温度参数 τ 影响负样本权重

    def forward(self, x1, x2):
        # 编码两个视图
        z1 = self.encoder(x1)
        z2 = self.encoder(x2)

        # 归一化特征向量
        z1 = F.normalize(z1, dim=1)
        z2 = F.normalize(z2, dim=1)

        # 计算相似度矩阵
        sim_matrix = torch.mm(z1, z2.T) / self.tau

        # 计算 InfoNCE 损失
        labels = torch.arange(z1.size(0)).to(z1.device)
        loss = F.cross_entropy(sim_matrix, labels)
        return loss

我们对比了 CMC 与监督学习在 CIFAR-10 数据集上的性能。结果显示，CMC 在仅使用 10% 标注数据的情况下，达到了接近监督学习模型的准确率。