模型介绍Alpaca模型是斯坦福大学研发的LLM(Large Language Model,大语言)开源模型,是一个在52K指令上从LLaMA 7B(Meta公司开源的7B)模型微调而来,具有70亿的模型参数(模型参数越大,模型的推理能力越强,当然随之训练模型的成本也就越高)。
新京报贝壳财经讯(记者孙文轩)10月9日,港中文贾佳亚团队宣布联合麻省理工学院(MIT)发布超长文本扩展技术LongLoRA(超长上下文,一种大语言模型高效微调的技术):只需两行代码、一台8卡A100机器,便可将7B模型的文本长度拓展到100k tokens(令牌,可简单理解为一
ProtTrans:Towards Cracking the Language of Life’s Code Through Self-Supervised Deep Learning and High Performance Computing, 见原文链接。