本报记者 李玉洋 上海报道在被英伟达统治的AI芯片市场中，已经很久没有新闻了，但龙年春节刚过，一家名为Groq的初创公司从前者手中夺下“最快”AI推理芯片的称号。Groq宣称其LPU（语言处理单元）的推理性能是英伟达GPU（图形处理器）的10倍，而成本仅为其十分之一。
随着AI技术的快速迭代，如何提升输出端的响应速度愈发重要，而近期Sora Demo的惊艳效果，让业内看到了应用场景爆发的可能性，但如果延迟过高，会显著影响使用体验，因此Groq官网所展示的运行速度引起业内广泛讨论。在前段时间的基准测试中，Groq LPU 推理引擎上运行的Llama2 70B直接刷榜。
赵竹青、杨松近日，硅谷初创企业Groq推出一款全新的AI芯片，声称实现了“地表最强推理”——在Groq上运行大模型的推理速度较英伟达GPU提高10倍甚至更高。该消息一出，迅速攻占了各大科技媒体板块头条。
d-Matrix公司首款AI推理芯片Corsair及其4块芯片的封装。图片来源：美国d-Matrix公司随着ChatGPT横空出世，人工智能（AI）领域的竞争进入白热化。英伟达公司的高端图形处理单元（GPU）芯片“一飞冲天”，受到各大科技公司追捧。
《科创板日报》2月20日讯芯片推理速度较英伟达GPU提高10倍、成本只有其1/10；运行的大模型生成速度接近每秒500 tokens，碾压ChatGPT-3.5大约40 tokens/秒的速度——短短几天，一家名为Groq的初创公司在AI圈爆火。
AI圈卷疯了。人们还没从视频生成模型Sora带来的震撼中回过神来，硅谷AI芯片初创公司Groq的大模型又引发了市场热烈讨论，其主打一个“快”，每秒能输出500个token（注：语言模型中用来表示最小文本单元）。相比之下，Chat GPT-3.5每秒生成速度为40个token。
近日谷歌云（Google Cloud）宣布正式向客户开放第六代TPU（Tensor Processing Unit，张量处理器）Trillium芯片谷歌云称Trillium标志着AI超级计算机架构的重大突破第六代TPU是什么在全球科技产业将目光紧紧锁定人工智能领域之际TPU正在悄
有消息称，AI芯片初创公司Groq在新一轮融资中，估值将达到25亿美元。但新的融资未最终确定，条款可能发生变化。今年2月，Groq推出一款AI芯片LPU（语言处理器），并宣称其LPU推理性能是英伟达GPU的10倍，成本仅为其十分之一。
就在全世界还沉浸在Sora带来的视觉震撼时，AI圈又出了一个“王炸”产品，这一次是在芯片领域。自从AI赛道大热以来，人们的关注点主要在各种大模型的竞争，OpenAI、谷歌、Meta等巨头和各种初创企业在软件层面“争奇斗艳”。
当地时间2月20日，美股三大指数集体收跌，即将公布财报的英伟达盘中一度跌超6%，单日总市值蒸发逾5500亿元。截至收盘，道指跌0.17%，纳指跌0.92%，标普500指数跌0.60%。近来公布的一系列经济数据显示美国通胀依旧高企，使投资者降低了对美联储降息时间与幅度的押注。
还没消化完Sora带来的震撼，又一家硅谷初创企业带着史上最快的大模型和自研芯片LPU霸占了热搜。根据2024年一月的测试结果，由Groq LPU驱动Meta Llama 2模型，推理性能遥遥领先，是顶级云计算供应商的18倍。
黄仁勋涨薪近六成当地时间6月26日，英伟达召开股东大会，股东批准了所有12名董事提名人选并通过了高管薪酬计划。会议相关文件显示，英伟达CEO黄仁勋2024财年薪酬方案包括99.65万美元的基本工资（Salary），以及2667.6万美元的股权激励等，总薪酬3416.
Groq宣称，其推出的Groq Chip推理效率是英伟达H100的10倍，并在社交媒体上引发热议;在当前的AI芯片市场，英伟达乘上东风先拔头筹，AMD和英特尔紧追不舍，谷歌和微软等云服务商纷纷加入自研行列。
