《科创板日报》12月30日讯 日前,深度求索DeepSeek-V3横空出世,在AI行业内引发巨震,关键原因之一就是预训练成本之低——这个参数量高达671B的大模型,在预训练阶段仅使用2048块GPU训练了2个月,且只花费557.6万美元。
当o1、Claude、Gemini和Llama 3等模型还在为数亿美元的训练成本苦恼时,DeepSeek-V3用557.6万美元的预算,在2048个H800 GPU集群上仅花费3.7天/万亿tokens的训练时间,就达到了足以与它们比肩的性能。
界面新闻记者 | 伍洋宇 李彪界面新闻编辑 | 文姝琪2024年底,DeepSeek(深度求索)再次凭借模型性能在行业中掀起一个小高潮。这家独立于大模型“六小虎”格局之外、不容行业所忽视的公司,发布了新一代MoE模型DeepSeek-V3首个版本并同步开源。