Data-efficient Image Transformers (DeiT)是一种用于图像分类的新型模型，由Facebook AI在2020年底提出。这种方法基于视觉Transformer，通过训练策略的改进，使得模型能在少量数据下达到更高的性能。 在许多情况下，Transformer模型需要大量的数据才能得到好的结果。然而，这在某些场景下是不可能的，例如在只有少量标注数据的情况下。DeiT方法通过在训练过程中使用知识蒸馏，解决了这个问题。知识蒸馏是一种让小型模型学习大型模型行为的技术。 DeiT中的关键技术之一是使用学生模型预测教师模型的类别分布，而不仅仅是硬标签（原始数据集中的类别标签）。这样做的好处是，学生模型可以从教师模型的软标签（类别概率分布）中学习更多的信息。另外，DeiT还引入了一种新的训练方法，称为“硬标签蒸馏”，这种方法更进一步提高了模型的性能。通过这种方法，即使在ImageNet这样的大规模数据集上，DeiT也可以与更复杂的卷积神经网络（如ResNet和EfficientNet）相媲美或者超越，同时还使用了更少的计算资源。
