在上一篇文章中 如何用 30秒和 5 行代码写个 RAG 应用?,我们介绍了如何利用 LlamaIndex 结合 Ollama 的本地大模型和在 Hugging Face 开源的 embedding 模型用几行 Python 代码轻松构建一个 RAG 应用。
中新经纬3月3日电 3日,国家网络与信息安全信息通报中心在官方微信公众号发布情况通报称,大模型工具Ollama存在安全风险。通报称,据清华大学网络空间测绘联合研究中心分析,开源跨平台大模型工具Ollama默认配置存在未授权访问与模型窃取等安全隐患。
入门开源大语言模型,最好的工具就是ollama,这是一款简单的大模型本地部署框架,支持基于命令行的方式运行多种大语言模型,并提供了相应的Python和JS SDK,可以基于此方便实现Chatbot UI。