简介Ollama 是一个轻量级、可扩展的框架，旨在帮助用户在本地机器上构建和运行大型语言模型。它提供了一个简单的 API 用于创建、运行和管理模型，并附带了一个预建模型库，这些模型可以轻松地应用于各种应用程序中。
最近买了一个树莓派5， 8G 版的， 感觉树莓派5的计算能力确实有了很大的提高。下面是树莓派5的视频：树莓派5的计算性能，比树莓派4b有2～3倍的提升， 所以树莓派5一般需要额外安装风扇：下面，我们试着在树莓派5上安装Ollama，并试着运行一个大模型， QWen- v1.
前言相信这个春节大家都被deepseek刷屏了，写本篇文章是因为我经历过了各种付费+测试之后很艰难想入手大模型，国内的同学学技术还是太困难了，但是看到市面上各种火爆，实在有按捺不住想体验,终于迎来了一个契机。
入门开源大语言模型，最好的工具就是ollama，这是一款简单的大模型本地部署框架，支持基于命令行的方式运行多种大语言模型，并提供了相应的Python和JS SDK，可以基于此方便实现Chatbot UI。
该模型在视觉识别、图像推理、图像描述和回答与图像相关的问题方面表现出色，在多个行业基准测试中优于现有的开源和闭源多模态模型。OllamaOCR也支持MiniCPM模型，如果需要提取图像中的中文文本，这很有用。
从技术角度来说，AI 代理是一种软件实体，旨在代表用户或其他程序自主或半自主地执行任务。总之，AI 代理是强大的工具，可以自动化和增强各种活动，从简单的重复任务到复杂的问题解决场景，使它们在各种应用和行业中都具有无价的价值。
Meta正式发布并开源了Llama 3系列模型，本次发布了8B和70B的预训练及指令微调语言模型。这个模型发布后，国内大模型收费的念头基本可以断绝了；楼主亲测，在 华为笔记本上（11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 2.
今天要给大家推荐一个 GitHub 开源项目 ollama/ollama，该项目在 GitHub 有超过 34.7k Star，用一句话介绍该项目就是:Get up and running with Llama 2， Mistral， and other large language models locally.
本地可以运行的AI 大语言模型环境，支持Windows、Linux以及MacOS，家庭笔记本都可以运行。Ollama 下载地址： https://ollama.com/download下载 完成后，双击OllamaSetup.exe 运行，根据向导完成安装，过程比较简单。
