bmm运算演示:什么是注意力机制。注意力机制是注意力计算规则能够应用的深度学习网络的载体， 同时包括一些必要的全连接层以及相关张量处理， 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.
前面《深度学习:卷积神经网络》介绍的CNN网络结构，层与层之间有连接，但是每层之间的节点无连接。【1】Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation.
在交通领域，LSTM被广泛应用于道路、航空、铁路等各个方面的研究，例如基于LSTM建立车辆跟驰模型，利用LSTM进行短期交通流预测，公交车到站时间预测、共享单车需求预测、铁路客运量预测以及航空延误预测等等。
文中预测使用一种称为长短时记忆（LSTM）网络的循环神经网络（RNN）算法。LSTM网络是一种特定设计用于处理序列数据的RNN，例如时间序列数据。它们能够通过选择性地记忆或遗忘来自先前时间步的信息，学习数据中的长期依赖关系。
2020年，Transformer被改编为计算机视觉版，诞生了vision Transformer ，论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》中提出。
《A Critical Review of Recurrent Neural Networks for Sequence Learning》上的一个解释，如图F9，recurrent edge设为1. ，而在F10,这条边又设成一个门。
