知识蒸馏入门指南：从CHSIM原理到轻量化模型实战

1次阅读

共计 2187 个字符，预计需要花费 6 分钟才能阅读完成。

最近在部署 BERT 模型到移动端时，被它的显存占用吓到了——动辄 1GB 以上的内存需求，推理延迟高达 200ms。这让我开始认真研究模型压缩技术。通过对比经典模型的参数规模，问题更加明显：

模型	参数量	FLOPs	显存占用
ResNet-152	60M	11.3G	1.2GB
MobileNetV3	5.4M	0.22G	0.1GB

这张对比表直观展示了轻量化模型的必要性。当我们需要在边缘设备部署时，MobileNetV3 这类精简架构的优势就凸显出来了。

尝试过几种主流压缩方法后，我整理了这个对比矩阵：

方法	精度保持率	硬件要求	再训练成本	适用场景
量化	85%-95%	低	低	部署阶段优化
剪枝	70%-90%	中	高	结构化压缩
蒸馏	90%-98%	高	中	知识迁移

知识蒸馏虽然在训练阶段需要更多计算资源，但它的精度保持率最吸引人。特别是当我们需要保持模型语义理解能力时（如 NLP 任务），蒸馏往往是首选。

传统蒸馏使用 KL 散度衡量输出分布差异，而 CHSIM(Channel-wise Similarity) 更关注中间特征层的通道关系。其核心公式：

$$\mathcal{L}{CHSIM} = \frac{1}{C}\sum_c^S))$$}^C (1 – \cos(\mathbf{F}_c^T, \mathbf{F

其中 $\mathbf{F}_c^T$ 和 $\mathbf{F}_c^S$ 分别表示教师和学生网络第 c 个通道的特征图。相比 KL 散度，CHSIM 的优势在于：

对特征尺度不敏感
保留通道间拓扑关系
更适合视觉任务中的局部特征迁移

# 教师模型（以 ResNet50 为例）teacher = models.resnet50(pretrained=True)

# 学生模型（自定义轻量网络）class StudentNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 16, kernel_size=3, stride=2, padding=1)
        self.blocks = nn.Sequential(
            # 添加 4 个轻量级残差块
            *[LightResBlock(16*(2**i)) for i in range(4)] 
        )
        self.fc = nn.Linear(256, num_classes)

class CHSIMLoss(nn.Module):
    def __init__(self, temp=3.0):
        super().__init__()
        self.temp = temp

    def forward(self, feat_t, feat_s):
        # 特征图归一化
        feat_t = F.normalize(feat_t.flatten(2), dim=2)
        feat_s = F.normalize(feat_s.flatten(2), dim=2)

        # 计算通道相似度
        sim_matrix = torch.bmm(feat_t.transpose(1,2), feat_s)
        return (1 - sim_matrix.mean()) / self.temp

# 定义多目标损失
criterion = {'cls': nn.CrossEntropyLoss(),
    'feat': CHSIMLoss(temp=3.0)
}

for images, labels in train_loader:
    # 教师模型前向（不计算梯度）with torch.no_grad():
        _, feats_t = teacher(images)

    # 学生模型前向
    preds, feats_s = student(images)

    # 计算复合损失
    loss = criterion['cls'](preds, labels) + \
           0.5 * criterion['feat'](feats_t, feats_s)

    # 反向传播
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

通过实验发现，最佳温度系数 $T$ 与学习率 $\eta$ 的关系约为：
$$ T_{opt} \approx \frac{2}{\log(\eta \times 1000)} $$

例如当学习率为 0.001 时，温度设为 3.0 左右效果最好。

推荐使用 Grad-CAM 工具观察教师和学生网络的热力图差异：