之前上模式识别课程的时候，老师也讲过 MLP 的 BP 算法， 但是 ppt 过得太快，只有一个大概印象。损失函数定义为输出值 h 与目标值 y 之间的“二乘”:对偏导进行求解，可以得到:如果要利用 gradient descent 的方法找到一个好的模型，即一个合适的 theta 向量，迭代的公式为:所以，对于一个第 i 个单独的训练样本来说，我们的第 j 个权重更新公式是:这个更新的规则也叫做 Widrow-Hoff learning rule， 从上到下推导下来只有几步，没有什么高深的理论，但是，仔细观察上面的公式，就可以发现几个 natural and intuitive 的特性。
Scalar、Vector、Marix、Tensor，点线面体一个都不少。参考 机器学习中的函数 - 全连接限制发展，卷积网络闪亮登场 卷积神经网络作为是实现深度学习的重要方法之一，整个网络第一步就是应用卷积进行特征提取，通过几轮反复后获得优质数据，达成改善数据品质的目标，我们一起复习一下卷积层工作的这两个关键步骤。
在报告中焦李成梳理了“进化”相关的发展渊源与思想起源，指出了当前人工智能的学术缺陷与实际困境，并从类脑的角度给出了解决路径:“神经网络不应该是目前的意义上进行权重调参，它的结构应该具备变化性、可塑性、学习性和动态性;
瑞典皇家科学院当地时间10月8日宣布，将2024年诺贝尔物理学奖授予约翰·J·霍普菲尔德（John J. Hopfield）和杰弗里·E·辛顿（Geoffrey E. Hinton），表彰他们在使用人工神经网络进行机器学习的基础性发现和发明。两位获奖者的研究有何意义？
