DeepSeek-R1火遍海内外,但推理服务器频频宕机,专享版按GPU小时计费的天价成本更让中小团队望而却步。而市面上所谓“本地部署”方案,多为参数量缩水90%的蒸馏版,背后原因是671B参数的MoE架构对显存要求极高——即便用8卡A100也难以负荷。
每经记者:岳楚鹏 每经编辑:兰素英2月10日,清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新,成功打破大模型推理算力门槛。此前,拥有671B参数的MoE架构大模型DeepSeek-R1在推理时困难重重。
【今日导读】 多地宣布已将DeepSeek应用于政务系统,这个重要细分领域有望加速发展 国内外产业端迎来密集催化,目前这类产品进入工业场景 该企业高阶智驾驶车成功交付,提效+降本加速智驾渗透率提升 微信确认接入DeepSeek,机构称算力云服务商有望获益 全球最薄折叠屏手机OPP