中新经纬3月3日电 3日,国家网络与信息安全信息通报中心在官方微信公众号发布情况通报称,大模型工具Ollama存在安全风险。通报称,据清华大学网络空间测绘联合研究中心分析,开源跨平台大模型工具Ollama默认配置存在未授权访问与模型窃取等安全隐患。
Ollama提供了REST API与本地部署的大模型,如本例中的llama3,进行交互,使用命令 ollama serve 启动本地服务器,就可以通过API调用本地部署的大模型,然后在API基础上定制自己的大模型应用了。
前言相信这个春节大家都被deepseek刷屏了,写本篇文章是因为我经历过了各种付费+测试之后很艰难想入手大模型,国内的同学学技术还是太困难了,但是看到市面上各种火爆,实在有按捺不住想体验,终于迎来了一个契机。
入门开源大语言模型,最好的工具就是ollama,这是一款简单的大模型本地部署框架,支持基于命令行的方式运行多种大语言模型,并提供了相应的Python和JS SDK,可以基于此方便实现Chatbot UI。
例如,最新的吵的沸沸扬扬的ruozhi吧数据也还不错的COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning,提供了一个高质量的中文数据集。