编辑:编辑部【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。
每经记者:文巧 每经编辑:何小桃,兰素英“大模界”是每日经济新闻推出一档专注生成式AI与大模型技术的前沿科技报道栏目。 在这里,我们将聚焦生成式AI技术浪潮,展现从文字、图像、音频、视频的大模型如何编织数字化世界。
来源:宿迁网 Meta刚发布的最新开源大模型Llama 3系列,现已上线国家超算互联网。即日起,开发者可限时免费在国家超算互联网上搭建专属开发环境、使用专属微调大模型,“一键”开启Llama 3推理。欢迎广大AI开发者登录国家超算互联网,搜索“Llama”关键词注册体验。
近日,浪潮信息发布源2.0-M32大模型4bit和8bit量化版,性能比肩700亿参数的LLaMA3开源大模型。4bit量化版推理运行显存仅需23.27GB,处理每token所需算力约为1.9 GFLOPs,算力消耗仅为同等当量大模型LLaMA3-70B的1/80。