简介：自监督学习（Self-Supervised Learning）能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。
这项成果在Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton 的论文「ImageNet Classification with Deep Convolutional Neural Networks」中发表。
因此，人工智能论坛Analytics India Magazine推出2022年十大自监督学习模型，以飨读者。Meta AI 在一月份发布了 data2vec 算法，用于语音、图像和文本相关的计算机视觉模型。
由于以 BERT/GPT 系列为代表的预训练算法研究在 NLP 领域大放异彩，视觉领域最近涌现了许多焦点工作如 BEiT，MAE，SimMIM，尝试将 BERT 这种风格的预训练从 NLP Transformer 迁移到 Vision Transformer，并在各下游任务上初步取得了成功。
