最近,DeepSeek爆火,先进的算法、卓越的能力,表现出众,其凭一己之力推动国内Ai大模型跨越式发展。作为一款现象级的Ai产品,用户量暴增,最近服务器又被攻击,使用DeepSeek,经常出现服务器繁忙,将DeepSeek部署在本地电脑就方便很多。
Ollama提供了REST API与本地部署的大模型,如本例中的llama3,进行交互,使用命令 ollama serve 启动本地服务器,就可以通过API调用本地部署的大模型,然后在API基础上定制自己的大模型应用了。