2020 年,通过增加大模型参数量的方法,OpenAI 在具有 1750 亿参数量的 GPT-3 上发现,大模型可以根据提示词中提供的信息,来执行新任务或改进现有任务。随后他们趁热打铁,一起研究能否使用上下文学习,来替代成本高昂的指令微调方法。
如果只是简单的对话,我们并不需要有针对性的学习,但是如果我们想要实现一些复杂的能力,这时候我们就需要按照prompt的一些原则进行优化prompt。01 | 引言第二课实际上就是在讲解Prompt的两个关键原则。
断更近一个月,Karpathy终于上线了。这次不是AI大课,而是带来一个新项目。仅用1000行纯C语言训完GPT-2。想象一下,如果我们能够不依赖于庞大的PyTorch(245MB)和cPython(107MB)库,仅仅使用纯C语言就能训练大型语言模型(LLM),那会怎样?