CFT对比学习入门指南：从零构建高效特征表示模型

1次阅读

共计 3147 个字符，预计需要花费 8 分钟才能阅读完成。

在传统监督学习中，我们往往需要大量标注数据来训练模型，这不仅成本高昂，而且容易导致模型过拟合。更糟糕的是，当面对新任务时，这些模型通常需要从头开始训练，无法有效利用之前学到的知识。这就是特征表示学习试图解决的问题——学习一种通用的、可迁移的特征表示。

然而，即使是特征表示学习，也面临着效率低下和泛化能力不足的困境。这时候，对比学习（Contrastive Learning）尤其是 CFT（Contrastive Feature Transfer）方法就显示出了它的优势。它通过让模型学习区分相似和不相似的样本，从而自动发现数据中的潜在结构，而无需大量标注数据。

传统监督学习直接学习从输入到标签的映射，而 CFT 对比学习则采用了一种完全不同的思路：

它通过数据增强创建同一图像的多个视图（正样本对）
同一批次中的其他图像自然成为负样本
模型学习将正样本拉近，将负样本推远

这种架构的最大优势是它不需要显式的标签信息，而是利用数据本身的结构来学习有用的特征表示。

CFT 的核心是 InfoNCE（Noise Contrastive Estimation）损失函数，其数学表达式为：

$$
L = -\log\frac{\exp(sim(q,k^+)/\tau)}{\sum_{i=0}^K \exp(sim(q,k_i)/\tau)}
$$

其中：
– $q$ 是查询特征
– $k^+$ 是正样本特征
– $k_i$ 是负样本特征
– $\tau$ 是温度系数
– $sim$ 是相似度函数（通常用余弦相似度）

这个损失函数直观上就是在所有可能的样本中，让模型能够正确识别出正样本。

温度系数 τ ：控制相似得分的 ” 锐利 ” 程度
τ 太小会导致模型过于自信，难以收敛
τ 太大会使所有样本的相似度趋同，失去区分能力
负样本数量 ：直接影响学习难度
太少会导致学习太简单，无法获得好的特征
太多会增加计算成本，可能造成训练不稳定

import torch
import torch.nn as nn
import torch.nn.functional as F

class CFModel(nn.Module):
    def __init__(self, backbone, feature_dim=128):
        super().__init__()
        self.backbone = backbone  # 预定义的骨干网络
        self.projector = nn.Sequential(nn.Linear(feature_dim, feature_dim),
            nn.ReLU(),
            nn.Linear(feature_dim, feature_dim)
        )  # 投影头，将特征映射到对比学习空间

    def forward(self, x1, x2):
        # 获取两个增强视图的特征
        h1 = self.backbone(x1)
        h2 = self.backbone(x2)

        # 通过投影头
        z1 = self.projector(h1)
        z2 = self.projector(h2)

        return F.normalize(z1, dim=1), F.normalize(z2, dim=1)


def info_nce_loss(z1, z2, temperature=0.1):
    """计算 InfoNCE 损失"""
    batch_size = z1.shape[0]
    # 拼接所有样本
    z = torch.cat([z1, z2], dim=0)
    # 计算相似度矩阵
    sim_matrix = torch.mm(z, z.T) / temperature

    # 创建标签：对角线上的样本为正样本对
    labels = torch.arange(2 * batch_size, device=z1.device)
    labels = (labels - labels % (batch_size * 2)) // batch_size

    # 计算交叉熵损失
    loss = F.cross_entropy(sim_matrix, labels)
    return loss

训练完成后，我们可以使用 t -SNE 将学到的特征投影到 2 维空间进行可视化：

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt

def visualize_features(model, dataloader):
    model.eval()
    features, labels = [], []

    with torch.no_grad():
        for x, y in dataloader:
            x = x.to(device)
            h = model.backbone(x)
            features.append(h.cpu())
            labels.append(y)

    features = torch.cat(features, dim=0).numpy()
    labels = torch.cat(labels, dim=0).numpy()

    # t-SNE 降维
    tsne = TSNE(n_components=2)
    embeddings = tsne.fit_transform(features)

    # 可视化
    plt.figure(figsize=(10, 8))
    scatter = plt.scatter(embeddings[:, 0], embeddings[:, 1], c=labels, cmap='tab10')
    plt.legend(*scatter.legend_elements(), title="Classes")
    plt.title("t-SNE Visualization of Learned Features")
    plt.show()

负样本的数量直接由批量大小决定，经验公式是：

$$
\text{负样本数量} = 2 \times (\text{batch_size} – 1)
$$

这意味着更大的批量通常会带来更好的性能，但也需要更多的 GPU 内存。

对比学习训练过程中容易出现梯度爆炸问题，可以采取以下措施：

使用梯度裁剪（torch.nn.utils.clip_grad_norm_）
适当减小学习率
使用更稳定的优化器如 AdamW

由于训练初期模型参数随机，直接使用大学习率可能导致不稳定。建议采用线性或余弦 warmup 策略：

from torch.optim.lr_scheduler import LambdaLR

def get_warmup_scheduler(optimizer, warmup_steps, total_steps):
    """创建学习率 warmup 调度器"""
    def lr_lambda(current_step):
        if current_step < warmup_steps:
            return float(current_step) / float(max(1, warmup_steps))
        return max(0.0, float(total_steps - current_step) / float(max(1, total_steps - warmup_steps))
        )
    return LambdaLR(optimizer, lr_lambda)

通过本文，我们了解了 CFT 对比学习的基本原理和实现方法。这种自监督学习范式正在改变我们获取特征表示的方式，使得在没有大量标注数据的情况下也能训练出强大的模型。

这里留下三个值得进一步思考的问题：