CLIP微调实战指南：从零构建高效视觉-语言模型

1次阅读

没有评论

共计 1698 个字符，预计需要花费 5 分钟才能阅读完成。

原始 CLIP 模型虽然在通用领域表现出色，但在垂直领域（如医疗、工业等）往往表现不足。主要原因包括：

领域特定词汇和概念在预训练时未充分覆盖
垂直领域的数据分布与通用数据差异较大
领域特有的视觉特征和文本描述方式

在微调过程中，开发者常遇到以下挑战：

数据稀缺：垂直领域标注数据获取困难
模态对齐偏差：文本和图像特征空间不一致
过拟合风险：小数据量下模型容易记忆训练样本
计算资源限制：全参数微调成本高昂

全参数微调(Full Fine-tuning)
优点：可以充分利用领域数据调整所有参数
缺点：计算成本高，容易过拟合
Adapter 微调
优点：仅调整少量参数，计算高效
缺点：可能限制模型表达能力
Prompt Tuning
优点：参数效率极高
缺点：对文本模态的调整有限

对比损失调优
温度系数 (τ) 控制样本相似度的敏感度
领域数据通常需要更小的 τ 值（0.01-0.1）
跨模态注意力
在 Adapter 层加入交叉注意力机制
增强图文特征的交互建模

import torch
import torch.nn as nn

class AdapterLayer(nn.Module):
    def __init__(self, dim, reduction=4):
        super().__init__()
        # NOTE: 使用 LayerNorm 稳定训练
        self.norm = nn.LayerNorm(dim)
        self.down_proj = nn.Linear(dim, dim//reduction)
        self.up_proj = nn.Linear(dim//reduction, dim)
        # NOTE: 残差连接保留原始信息
        self.gate = nn.Parameter(torch.zeros(1))

    def forward(self, x):
        residual = x
        x = self.norm(x)
        x = self.down_proj(x)
        x = nn.functional.relu(x)
        x = self.up_proj(x)
        # NOTE: 可学习门控控制 Adapter 贡献
        return residual + self.gate * x

def hard_negative_mining(similarity_matrix, top_k=5):
    """
    similarity_matrix: [batch_size, batch_size]
    returns: 最难负例的索引
    """
    # NOTE: 对角线是正样本，排除
    mask = torch.eye(similarity_matrix.size(0), 
                    device=similarity_matrix.device).bool()
    similarity_matrix = similarity_matrix.masked_fill(mask, -1e9)

    # 获取每个样本 top_k 最难负例
    _, indices = torch.topk(similarity_matrix, k=top_k, dim=1)
    return indices