对于FP16精度的模型，在搭载了13代Intel Core i9和单张RTX 4090的高端PC上，PowerInfer平均实现了7.23倍的速度提升，其中在Falcon 40B上实现了高达11.69倍的速度提升。
·联影智能发布的文本大语言模型支持70B文本输入。联影智能联席CEO沈定刚表示，70B参数的语言模型是一个专门为医学领域优化的工具，它集成了海量医学教科书和临床资料库的知识，在USMLE（美国医学执照考试）的评测上达到了67%的合格标准，展现了其在医学领域的应用潜力。
