ICLR2021自蒸馏方法SEED：显著提升小模型性能
本文主要聚焦于小模型(即轻量型模型)的自监督学习问题，作者通过实证发现：对比自监督学习方法在大模型训练方面表现出了很大进展，然这些方法在小模型上的表现并不好。为解决上述问题，本文提出了一种新的学习框架：自监督蒸馏(SElf-SupErvised Distillation, SEED)，它通过自监督方式(SSL)将老师模型的知识表达能力迁移给学生模型。不同于直接在无监督数据上的直接学习，我们训练学生模型去模拟老师模型在一组示例上的相似度得分分布。
- 2021-02-09
- 阅读1333
- 下载0
- 8页
- pdf
