最近,DeepSeek爆火,先进的算法、卓越的能力,表现出众,其凭一己之力推动国内Ai大模型跨越式发展。作为一款现象级的Ai产品,用户量暴增,最近服务器又被攻击,使用DeepSeek,经常出现服务器繁忙,将DeepSeek部署在本地电脑就方便很多。
这里推荐Github 开源版 【GitHub - Mintplex-Labs/anything-llm: The all-in-one Desktop & Docker AI application with built-in RAG, AI agents, and more.】
前两天在台式电脑上安装了Docker,随之安装了ollama和DeepSeek,又搭配了Dify,在DeepSeek模型上,测试了7B 8B 14B 32B,结果DeepSeek 32B电脑就带不动死机了,最终使用了DeepSeek 14B,这种Ollama+DeepSeek+D