这个概念最早出现在2015年《Distilling the Knowledge in a Neural Network》论文里，作者是 Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean。
中国人工智能初创公司DeepSeek在过去一周成为硅谷热议的对象，并触发了本周一美国科技股“崩盘”。1月29日，OpenAI最新称，它发现有证据表明中国人工智能初创公司DeepSeek使用其专有模型来训练自己的开源模型，并暗示这可能违反了OpenAI的服务条款。
它成功突破了多个开源大模型的性能瓶颈，在众多测试中表现出色，甚至超越了阿里自研的 Qwen2.5-72B 和 Meta 的 Llama 3.1-405B 等知名模型，与 OpenAI 的 GPT-4o、Anthropic 的 Claude 3.5-Sonnet 等闭源大模型相抗衡，展现出了强大的实力。
第一个叫板DeepSeek的是华裔李飞飞，据透露，她仅用50美元，短时间就蒸馏出类似DeepSeek-R1的推理模型S1，该模型在数学及编码能力方面，与OpenAI O1和DeepSeek R1几乎处于同一水平。
