白交 克雷西 发自 凹非寺量子位 | 公众号 QbitAI太快了太快了。一夜间,大模型生成已经没什么延迟了……来感受下这速度。眼花缭乱了吧,生成速度已经接近每秒500 tokens。还有更直观的列表对比,速度最高能比以往这些云平台厂商快个18倍吧。
由于ChatGPT爆火引发 AI 算力需求热潮,英伟达 AI 芯片供不应求、大规模短缺。近两天,一家名为Groq的美国 AI 公司一夜“爆火”,主要因其自研的LPU芯片在 AI 推理技术上,通过优化架构和减少内存瓶颈,实现了高效率和低延迟,在处理大模型时的速度远超英伟达GPU,每秒生成速度接近500 tokens,而GPT-4仅40 tokens。
科技战略美国云安全工作组发布安全策略文件,提出优化政府云安全性的措施据MeriTalk网2月16日消息,由MITRE、云安全联盟、先进技术学术研究中心和 IT 采购咨询委员会四个非营利组织组成的云安全工作组于14日发布一份安全策略建议文件,向国会、白宫、联邦机构和行业提出建议施行
本报记者 秦枭 北京报道12月9日晚间,国家市场监督管理总局发布消息称,因英伟达公司涉嫌违反《中华人民共和国反垄断法》(以下简称《反垄断法》)及《市场监管总局关于附加限制性条件批准英伟达公司收购迈络思科技有限公司股权案反垄断审查决定的公告》(市场监管总局公告〔2020〕第16号)
《科创板日报》2月20日讯芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens,碾压ChatGPT-3.5大约40 tokens/秒的速度——短短几天,一家名为Groq的初创公司在AI圈爆火。
本报记者 秦枭 北京报道过去一年里,由ChatGPT引爆的AI浪潮愈演愈烈,英伟达(NASDAQ:NVDA)作为这场浪潮背后最大的“卖铲人”,其GPU芯片价格被炒高数倍,但市场上仍一卡难求,英伟达因此赚得盆满钵满。“英伟达不会永远在大规模训练和推理芯片市场占据垄断地位。
数据是个宝数据宝炒股少烦恼宏观热点住建部:214个城市已建立房地产融资协调机制住房城乡建设部表示,自1月份城市房地产融资协调机制工作部署以来,各地和相关金融机构紧锣密鼓抓好落实,不少城市春节假期仍在推进工作,协调机制落地见效持续取得新进展。
作者 | ZeR0编辑 | 漠影芯东西2月21日报道,在OpenAI推出又一爆款力作AI视频生成模型Sora后,连带着偏上游的AI芯片赛道热度一点即着。创始成员来自谷歌TPU团队的美国存算一体AI芯片公司Groq便是最新赢家。
还没消化完Sora带来的震撼,又一家硅谷初创企业带着史上最快的大模型和自研芯片LPU霸占了热搜。根据2024年一月的测试结果,由Groq LPU驱动Meta Llama 2模型,推理性能遥遥领先,是顶级云计算供应商的18倍。