基于特征的知识蒸馏算法入门指南：从模型压缩到落地实践

1次阅读

共计 1699 个字符，预计需要花费 5 分钟才能阅读完成。

传统模型压缩方法（如剪枝、量化）虽然能减小模型体积，但往往伴随着明显的精度损失。这就像把一本百科全书撕掉几页——虽然书变薄了，但重要知识也可能丢失。知识蒸馏（Knowledge Distillation）的核心价值在于：让笨重的教师模型（Teacher Model）像老师一样，把『解题思路』教给轻量的学生模型（Student Model），而不仅仅是硬背『答案』。

Logits 蒸馏：直接模仿教师模型的输出层预测结果（Logits）。好比学生只抄老师试卷的最终答案。
参数量：仅输出层参与计算，参数量少
准确率：CIFAR-10 上通常比教师模型低 3 -5%
推理速度：因仅需传递 Logits 信息，速度最快
特征蒸馏：学习教师模型中间层的特征图（Feature Map）。相当于学生还要看老师的草稿纸，学习推导过程。
参数量：需处理中间层特征，参数量较大
准确率：CIFAR-10 上可达到教师模型的 98% 以上
推理速度：因需多尺度特征对齐，稍慢于 Logits 蒸馏

特征匹配策略
教师和学生的对应中间层特征图尺寸往往不同（如教师是 512 通道，学生是 256 通道）。常见解决方案：
- 添加 1 ×1 卷积调整通道数
- 使用自适应池化统一空间尺寸
损失函数设计
L2 Loss：直接最小化特征图欧式距离，计算简单但敏感
```
loss = F.mse_loss(student_feat, teacher_feat)
```
余弦相似度：关注特征方向而非绝对值，更适合跨架构蒸馏
```
def cosine_loss(s, t):
    return 1 - F.cosine_similarity(s, t).mean()
```
温度参数 (Temperature) 的魔法
高温（如 T =20）让 softmax 输出更平滑，暴露更多暗知识（Dark Knowledge）
低温（如 T =1）接近原始预测分布
实践建议：训练初期用高温，后期逐步降温

# 特征提取 Hook（关键工具！）class FeatureHook:
    def __init__(self):
        self.features = None

    def __call__(self, module, input, output):
        self.features = output

# 在教师模型中注册 Hook
teacher_layer = teacher_model.layer3[0].conv1
hook = FeatureHook()
handle = teacher_layer.register_forward_hook(hook)

# 动态温度系数示例
class DynamicTemperature:
    def __init__(self, T_max=20, T_min=1, epochs=100):
        self.T = T_max
        self.decay = (T_max - T_min) / epochs

    def step(self):
        self.T = max(self.T - self.decay, 1)