每经记者:岳楚鹏 每经编辑:兰素英2月10日,清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新,成功打破大模型推理算力门槛。此前,拥有671B参数的MoE架构大模型DeepSeek-R1在推理时困难重重。
如图所示,KTransformers 团队于 2 月 10 日成功在 24G 显存 + 382 GB 内存的 PC 上实现本地运行 DeepSeek-R1、V3 的 671B 满血版,速度提高 3~28 倍。
一、介绍春节期间,热度最高的当属DeepSeek了,嘟嘟春节期间也各种安利身边朋友使用DeepSeek,但是随着时间的发酵,大家会发现DeepSeek经常不能用,那是因为DeepSeek受到了大规模恶意攻击,IP地址都在美国。
DeepSeek大火后我们给出过本地部署教程,但这毕竟是用来满足需要数据/信息隔离、个人学习的特殊使用场景,一般人需要的只是无障碍使用——DeepSeek官网因为太过火爆经常会出现不够稳定的情况,所以今天就把DeepSeek的满血使用教程发一下。