在 Bert 问世之处，在 NLP 领域也算是一颗炸弹，同时在许多自然语言处理的常见任务如情感分析、命名实体识别等中都刷到了 SOTA，Bert 家族的出色代表除了谷歌提出的 Bert 、ALBert之外，还有百度的 ERNIE、Meta 的 RoBERTa、微软的 DeBERTa等等。
llm-course在上次介绍（北方的郎：llm-course，狂飙13.5K Star，GitHub上最全的开源大模型教程）后又有了更新，增加了新的章节包括“LLM工程师”等部分，Star也狂飙到了25K。GitHub地址：https://github.
在参数规模上，主流大模型的参数数量往往在千亿甚至万亿级别，以 GPT-3 为例，它拥有高达 1750 亿个参数，这些参数如同模型的 “神经元”，数量越多，模型能够捕捉和表达的知识与模式就越复杂。大模型的萌芽期可以追溯到 20 世纪 50 年代。
