Meta正式发布并开源了Llama 3系列模型，本次发布了8B和70B的预训练及指令微调语言模型。这个模型发布后，国内大模型收费的念头基本可以断绝了；楼主亲测，在 华为笔记本上（11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 2.
入门开源大语言模型，最好的工具就是ollama，这是一款简单的大模型本地部署框架，支持基于命令行的方式运行多种大语言模型，并提供了相应的Python和JS SDK，可以基于此方便实现Chatbot UI。
该模型在视觉识别、图像推理、图像描述和回答与图像相关的问题方面表现出色，在多个行业基准测试中优于现有的开源和闭源多模态模型。OllamaOCR也支持MiniCPM模型，如果需要提取图像中的中文文本，这很有用。
Ollama和Open-WebUI都是与大型语言模型（LLM）相关的工具，它们在LLM的部署、管理和交互方面发挥着重要作用。以下是对这两个工具的详细介绍：一 OllamaOllama是一个开源的大型语言模型服务工具，旨在简化在本地机器上部署和运行大型语言模型的过程。
最近买了一个树莓派5， 8G 版的， 感觉树莓派5的计算能力确实有了很大的提高。下面是树莓派5的视频：树莓派5的计算性能，比树莓派4b有2～3倍的提升， 所以树莓派5一般需要额外安装风扇：下面，我们试着在树莓派5上安装Ollama，并试着运行一个大模型， QWen- v1.
将 LLM 集成至已有业务，通过引入 LLM 增强现有应用的能力，接入 Dify 的 RESTful API 从而实现 Prompt 与业务代码的解耦，在 Dify 的管理界面是跟踪数据、成本和用量，持续改进应用效果。
从技术角度来说，AI 代理是一种软件实体，旨在代表用户或其他程序自主或半自主地执行任务。总之，AI 代理是强大的工具，可以自动化和增强各种活动，从简单的重复任务到复杂的问题解决场景，使它们在各种应用和行业中都具有无价的价值。
在上一篇文章中 如何用 30秒和 5 行代码写个 RAG 应用?，我们介绍了如何利用 LlamaIndex 结合 Ollama 的本地大模型和在 Hugging Face 开源的 embedding 模型用几行 Python 代码轻松构建一个 RAG 应用。
该项目名为:aisuite，从大佬的动态里能看到不久前刚刚才正式官宣，可能有些小伙伴之前也看到了。通过统一的接口，开发者只需更改对应的服务商模型选择配置项，即可快速实现在不同模型之间进行切换而无需代码重写。
