对于FP16精度的模型，在搭载了13代Intel Core i9和单张RTX 4090的高端PC上，PowerInfer平均实现了7.23倍的速度提升，其中在Falcon 40B上实现了高达11.69倍的速度提升。
本地可以运行的AI 大语言模型环境，支持Windows、Linux以及MacOS，家庭笔记本都可以运行。Ollama 下载地址： https://ollama.com/download下载 完成后，双击OllamaSetup.exe 运行，根据向导完成安装，过程比较简单。
·联影智能发布的文本大语言模型支持70B文本输入。联影智能联席CEO沈定刚表示，70B参数的语言模型是一个专门为医学领域优化的工具，它集成了海量医学教科书和临床资料库的知识，在USMLE（美国医学执照考试）的评测上达到了67%的合格标准，展现了其在医学领域的应用潜力。
