2021年过去了，虽然疫情反复不断，但AI业界前进脚本并没受到影响，各种令人惊艳的模型还是层出不穷。Transformers开始大行其道，与之相关的自监督预训练模型也开始火了起来，所谓CV界的BERT模型也开始遍地开花，比如具有代表性的有何凯明提出MAE、字节跳动的iBOT等。
