知识蒸馏 是一种用于模型压缩和优化的技术，最初由 Hinton 在文章“Distilling the Knowledge in a Neural Network”中提出，核心思想是从一个复杂的较大的模型中提取知识，将这些知识转移到一个精简的小模型中。
