深度学习的表现之所以能够超过传统的机器学习算法离不开神经网络，然而神经网络最基本的数据结构就是向量和矩阵，神经网络的输入是向量，然后通过每个矩阵对向量进行线性变换，再经过激活函数的非线性变换，通过层层计算最终使得损失函数的最小化，完成模型的训练。
前言:很多人知道杨振宁的名气很大，却不知道他的最大贡献是什么，往往津津乐道于他的私生活，这是舍本逐末的做法。同时对多数人来说，张量是数学中比较难理解的，而爱因斯坦引力场方程和杨—米尔斯方程就更加难以理解。
Scalar、Vector、Marix、Tensor，点线面体一个都不少。参考 机器学习中的函数 - 全连接限制发展，卷积网络闪亮登场 卷积神经网络作为是实现深度学习的重要方法之一，整个网络第一步就是应用卷积进行特征提取，通过几轮反复后获得优质数据，达成改善数据品质的目标，我们一起复习一下卷积层工作的这两个关键步骤。
目前所有主流深度学习运算主流框架后端都是英伟达的CUDA，包括TensorFlow、Caffe、Caffe2、PyTorch、mxnet、PaddlePaddle，CUDA包括微架构和指令集以及并行计算引擎。
拿之前 3x3 和 1x1 卷积的例子来说，3x3 卷积可能在 roofline 曲线右边的饱和区，而 1x1 卷积由于运算强度下降，有可能到了 roofline 左边的上升区，这样 1x1 卷积在计算时的计算性能就会下降无法到达峰值性能。
