每经记者：郑雨航 每经实习记者：岳楚鹏 每经编辑：兰素英最近大火的深度求索DeepSeek-V3模型仅用557万美元的训练费用，就达到了顶尖模型的效果，而且产品价格低廉，因此被网友们戏称为大模型界的“拼多多”。
论文中描述的带 Resoning 的 CoT 参与 SFT 和 Warm-up/RL 的两阶段微调，和 OpenAI 在 demo 里提出的概念和方法非常相似，这也给 o1 的技术复现提供了更明确的理论支撑。
其中知识蒸馏这一概念是由Hinton等人在2015年发表的《Distilling the Knowledge in a Neural Network》论文中提出的一个黑科技，一种非常经典的模型压缩技术，是将知识从一个复杂模型迁移到另一个轻量级模型上的方式来实现模型压缩。
DeiT:使用Attention蒸馏Transformer。Hinton， Geoffrey， Oriol Vinyals， and Jeff Dean. “Distilling the knowledge in a neural network.” arXiv preprint arXiv:1503.02531 2.7 .
模型蒸馏原理可参考论文 ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression 2021。
来源 | 智源社区集成（Ensemble，又称模型平均）是一种「古老」而强大的方法。只需要对同一个训练数据集上，几个独立训练的神经网络的输出，简单地求平均，便可以获得比原有模型更高的性能。甚至只要这些模型初始化条件不同，即使拥有相同的架构，集成方法依然能够将性能显著提升。
·本次开发者全程两个小时，谷歌CEO共提及“AI”121次，此次开发者大会，谷歌将搜索业务做了最彻底的AI改造，还更新升级了Gemini1.5Pro版本，同时推出Gemini1.5Flash轻量化小模型。此外，推出自称效果超过Sora的生成视频模型Veo。
student 模型的实际模型结构和小模型一样，但是损失函数包含了两部分，分类网络的知识蒸馏 mxnet 代码示例如下:tensorflow代码示例如下:tf.scalar_mul 函数为对 tf 张量进行固定倍率 scalar 缩放函数。
