在前几篇文章中,我们介绍了神经网络的历史和基本结构,也举例展示了如何利用神经网络解决一些简单的问题,然而,使用神经网络解决分类或者回归等问题,不仅需要设计好神经网络的结构,更重要的是为网络中每个神经元的参数配置参数,即训练一个神经网络。
student 模型的实际模型结构和小模型一样,但是损失函数包含了两部分,分类网络的知识蒸馏 mxnet 代码示例如下:tensorflow代码示例如下:tf.scalar_mul 函数为对 tf 张量进行固定倍率 scalar 缩放函数。
回归分析,regression analysis,一个省份的人平均身高在100年内几乎是不变的,假设是1.7米,即使出现了2.26米的姚明,但姚明的后代身高肯定要往1.7米回归,不可能超过2.26米,即使姚明的女儿10岁时已经1.7米。