·通常，运行GPT-3需要多个数据中心级英伟达A100 GPU，但LLaMA可以在单个强大的消费类GPU上运行。通过一种被称为量化的技术来进行优化、使模型缩小后，LLaMA可以在配备M1芯片的苹果电脑或较小的英伟达消费级GPU上运行。人工智能世界正在以闪电般的速度发展。
GitHub 仓库:GitHub - ollama/ollama: Get up and running with Llama 3.3， DeepSeek-R1， Phi-4， Gemma 2， and other large language models.
最近人们都在研究ChatGPT，大语言模型（LLM）彻底改变了科技领域的格局，但对于AI开发者来说，并不是人人都有上万块A100的。为了跑得起大模型，就要寻找各种优化方法。在让大模型变小这条路上，人们做了很多尝试，先是Meta开源了LLaMA，让学界和小公司可以训练自己的模型。
