然而,最近由清华大学KVCache.AI团队和趋境科技联合发布的KTransformers项目,带来了一项令人振奋的突破:只需一块24G显存的4090显卡,就能在本地顺畅运行DeepSeek-R1的671B“满血版”。
每经记者:岳楚鹏 每经编辑:兰素英2月10日,清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新,成功打破大模型推理算力门槛。此前,拥有671B参数的MoE架构大模型DeepSeek-R1在推理时困难重重。
如图所示,KTransformers 团队于 2 月 10 日成功在 24G 显存 + 382 GB 内存的 PC 上实现本地运行 DeepSeek-R1、V3 的 671B 满血版,速度提高 3~28 倍。
2月23日,清华大学与瑞莱智慧联合团队推出大语言模型RealSafe-R1。该模型基于DeepSeek R1进行深度优化与后训练,在确保性能稳定的基础上,实现了安全性的显著提升,表现优于被认为安全性较好的闭源大模型Claude3.
来源:中国新闻网 中新网北京2月24日电 (记者 张素)2月23日,清华大学与瑞莱智慧联合团队推出大语言模型RealSafe-R1。研发团队代表介绍说,实验数据表明RealSafe-R1安全性提升显著,“安全增强版DeepSeek”可为更多应用提供可靠坚实基座。
封面新闻记者 雷强近年来全球人工智能技术加速迭代,中国的大模型企业展现出强大的创新活力。尤其DeepSeek-R1模型的横空出世,不仅以一系列颠覆式创新重新定义了行业标准,更为全球范围内的AI普惠与产业升级提供了全新路径,也因此成为近期AI创业领域无可比拟的焦点所在。