macbook本地部署llama

资讯

大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB
智东西3月14日消息，据开发人员西蒙·威利森在自己的博客中称，他成功在自己的笔记本电脑上运行了Meta的130亿参数模型LLaMA-13B，这意味着大型语言模型已经可以跑在消费级硬件上了。
智东西
6评论
Llama3 中文版本地环境搭建和部署实战ollama版
这两天科技新闻中Llama 3消息刷爆了，中国时间 2024 年 4 月 19 日 0 点 0 分，Meta Llama 3 发布。
80周辉
36评论
最强模型Llama3的本地部署并应用于客服聊天系统
Meta正式发布并开源了Llama 3系列模型，本次发布了8B和70B的预训练及指令微调语言模型。这个模型发布后，国内大模型收费的念头基本可以断绝了；楼主亲测，在华为笔记本上（11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 2.
三丰
103评论
Llama3 中文版本地环境搭建和部署实战
这两天科技新闻中Llama 3消息刷爆了，中国时间 2024 年 4 月 19 日 0 点 0 分，Meta Llama 3 发布。
80周辉
62评论
本地部署Llama2,Gemma等大语言模型，界面化程序本地使用大模型
Llama2，Gemma，Mistral等大语言开源模型都开源免费给大家使用，但是基于这些模型的使用都要操作一堆代码，操作之繁琐。
人工智能研究所
65评论
在自己笔记本上部署Llama 3，定制自己的大模型应用
Ollama提供了REST API与本地部署的大模型，如本例中的llama3，进行交互，使用命令 ollama serve 启动本地服务器，就可以通过API调用本地部署的大模型，然后在API基础上定制自己的大模型应用了。
开心的刀来
75评论
研究完llama.cpp，我发现手机跑大模型竟这么简单
我们知道，除了通用化能力，大模型落地的关键在于推理性能的优化，然而如今这个优化程度超出了我们的预料。
机器之心Pro
11评论
在我自己的 Mac 上快速高效地运行 LLM 仅 2 MB
这篇文章介绍了一个基于 Rust 和 WebAssembly 的解决方案，用于在异构边缘计算设备上快速和便携地进行 Llama2 模型的推理。
CSDN
34评论

视频