学习研究大模型的最佳实践就是要亲身体验和不断的折腾,我本地环境MacMini M4(24G)跑DeepSeek-R1的8B模型很轻松,14B也基本勉强,再往上就没戏了,更别说满血版的671B。不过既然想学习模型的训练,可以根据自己的实际硬件情况,不妨先从小模型开始。
在国外大模型排名榜 Chatbot Arena 的基准测试里,DeepSeek-R1 的排名迅速攀升至全类别大模型第三,与 OpenAI 的 ChatGPT-4o 最新版并肩,并且在风格控制类模型分类中,和 OpenAI 的 o1 模型并列第一。其预训练费用仅 557.6 万美元,在 2048 块英伟达 H800 GPU 集群上运行 55 天即可完成训练。
最近用DeepSeek的人太多了,我的手机版已经卡死了,今天我用1分钟三个步骤,教会大家在本地电脑安装这个大模型,就算不联网你也可以流畅的使用,首先第一步,打开你们电脑网页搜索ollama,然后看到小羊驼下面的这个ollama点进去,
这块显卡淘宝大概卖2500左右,2080ti原版是11G显存,但2080ti设计上是支持24G显存的,万能的华强北通过手术更换显存颗粒,把1G换2G就生成出来了魔改22G,跑大模型最需要的就是大显存,3090ti 24G价格8000以上,4090ti 24G价格1万5以上,只卖2500的2080ti 22G无疑最具性价比。