2025 年 1 月 20 日,DeepSeek 正式发布 DeepSeek-R1 模型,在数学、代码、自然语言推理等任务上,性能成功比肩 OpenAI o1 正式版,在 1 月 24 日国外大模型排名 Arena 上,DeepSeek-R1 基准测试升至全类别大模型第三,在风格控制类模型分类中与 OpenAI o1 并列第一,展现出强大的技术实力。
还没消化完Sora带来的震撼,又一家硅谷初创企业带着史上最快的大模型和自研芯片LPU霸占了热搜。根据2024年一月的测试结果,由Groq LPU驱动Meta Llama 2模型,推理性能遥遥领先,是顶级云计算供应商的18倍。
没想到,Groq完全碾压两者,在输出速度上比Gemini快10倍,比GPT-4快18倍。在前段时间的基准测试中,Groq LPU推理引擎上运行的Llama 2 70B直接刷榜,而且比顶级云提供商快18倍的LLM推理性能。
本报记者 李玉洋 上海报道在被英伟达统治的AI芯片市场中,已经很久没有新闻了,但龙年春节刚过,一家名为Groq的初创公司从前者手中夺下“最快”AI推理芯片的称号。Groq宣称其LPU(语言处理单元)的推理性能是英伟达GPU(图形处理器)的10倍,而成本仅为其十分之一。
潮新闻客户端 记者 朱高祥俗话说,“淘金热期间,卖铁铲最赚钱。”在当下最火热的AI风口上,英伟达就是那个最赚钱的“卖铲人”。美东时间2月22日,英伟达股价暴涨超16%,总市值逼近2万亿美元,并创下美股历史上最大单日市值增长。此前,英伟达发布了全面超出市场预期的强劲财报。
随着AI技术的快速迭代,如何提升输出端的响应速度愈发重要,而近期Sora Demo的惊艳效果,让业内看到了应用场景爆发的可能性,但如果延迟过高,会显著影响使用体验,因此Groq官网所展示的运行速度引起业内广泛讨论。在前段时间的基准测试中,Groq LPU 推理引擎上运行的Llama2 70B直接刷榜。