llama.cpp支持的大模型

资讯

研究完llama.cpp，我发现手机跑大模型竟这么简单
我们知道，除了通用化能力，大模型落地的关键在于推理性能的优化，然而如今这个优化程度超出了我们的预料。
机器之心Pro
11评论
大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB
智东西3月14日消息，据开发人员西蒙·威利森在自己的博客中称，他成功在自己的笔记本电脑上运行了Meta的130亿参数模型LLaMA-13B，这意味着大型语言模型已经可以跑在消费级硬件上了。
智东西
6评论
无需GPU，windows本地部署llama2大模型
在本节课中，我们将在windows环境，不使用GPU，只使用CPU的情况下，基于llama.cpp这个库，部署并运行llama2大模型。
小黑黑讲AI
35评论
大型语言模型走入消费级硬件，现在可以在电脑和手机上运行了
·通常，运行GPT-3需要多个数据中心级英伟达A100 GPU，但LLaMA可以在单个强大的消费类GPU上运行。通过一种被称为量化的技术来进行优化、使模型缩小后，LLaMA可以在配备M1芯片的苹果电脑或较小的英伟达消费级GPU上运行。人工智能世界正在以闪电般的速度发展。
澎湃新闻
18评论
北大最强代码大模型CodeShell-7B开源，性能霸榜，IDE插件全开源
【新智元导读】继CodeLlama开源之后，北大等机构正式开源了性能更强的代码基座大模型CodeShell-7B和代码助手CodeShell-Chat。
新智元
55评论

视频