2020 年，通过增加大模型参数量的方法，OpenAI 在具有 1750 亿参数量的 GPT-3 上发现，大模型可以根据提示词中提供的信息，来执行新任务或改进现有任务。随后他们趁热打铁，一起研究能否使用上下文学习，来替代成本高昂的指令微调方法。
如果只是简单的对话，我们并不需要有针对性的学习，但是如果我们想要实现一些复杂的能力，这时候我们就需要按照prompt的一些原则进行优化prompt。01 | 引言第二课实际上就是在讲解Prompt的两个关键原则。
断更近一个月，Karpathy终于上线了。这次不是AI大课，而是带来一个新项目。仅用1000行纯C语言训完GPT-2。想象一下，如果我们能够不依赖于庞大的PyTorch（245MB）和cPython（107MB）库，仅仅使用纯C语言就能训练大型语言模型（LLM），那会怎样？
