当ROG幻X 2025亮出128GB LPDDR5X内存+256bit带宽的王炸组合时,整个AI圈炸了——这台1.2kg的二合一本竟敢叫板云计算服务器!**AMD锐龙AI Max+395的核弹级操作:抢48GB内存当显存还不够,直接给70B大模型在本地安了家!
克雷西 萧箫 发自 凹非寺量子位 | 公众号 QbitAI他来了他来了,老黄带着「最强生成式AI处理器」和一系列重磅更新来了!在计算机图形学顶会SIGGRAPH上,老黄宣布了英伟达最新的超级芯片NVIDIA DGX GH200 Grace Hopper。
对于FP16精度的模型,在搭载了13代Intel Core i9和单张RTX 4090的高端PC上,PowerInfer平均实现了7.23倍的速度提升,其中在Falcon 40B上实现了高达11.69倍的速度提升。
另外还有 YouTube 博主 Dave Lee 直接把配置拉满,在 512 GB 的 Mac Studio 上跑了满血 DeepSeek R1,那么,Mac Studio 在 AI 领域的表现到底如何?
一、概述使用开源工具Termux + Ollama + DeepSeek-R1在小米手机【Xiaomi HyperOS,Mi 11 Ultra,处理器:高通骁龙888-八核2.84G,内存16G,存储空间>10G】本地上跑大模型。