每经记者:岳楚鹏 每经编辑:兰素英2月10日,清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新,成功打破大模型推理算力门槛。此前,拥有671B参数的MoE架构大模型DeepSeek-R1在推理时困难重重。
如图所示,KTransformers 团队于 2 月 10 日成功在 24G 显存 + 382 GB 内存的 PC 上实现本地运行 DeepSeek-R1、V3 的 671B 满血版,速度提高 3~28 倍。
文/王新喜经济观察报报道一条消息,一位英伟达代理商告诉经济观察网记者,春节后第一周,两家中国科技企业为支撑开源大模型DeepSeek的推理服务,紧急向他们公司采购了L20 GPU算力设备。“去年,客户下单总要反复考虑和比价,现在连库存的禁售型号都抢空了”。