国内外终端大厂纷纷布局端侧大模型产品，提高通用模型能力的同时，也在加速推进模型在终端设备上的部署。今年两会期间，全国政协委员、东南大学副校长金石建议由中国信息通信研究院等研究机构联合龙头企业，加快出台AI手机生态标准，促进各类AI数据的合理开放、共享，加快打造智慧仿生感知能力、高效能AI算力底座、模型库管理优化以及软硬一体、端云协同的创新生态体系。
作者 | 程茜编辑 | 漠影大模型端侧部署正加速！AI PC等新物种热度暴增，企业对于AI加速卡的关注度也水涨船高。但是AI PC等端侧设备中的AI加速卡如何做到可用、好用是一大难题，其需要兼顾体积小、性能强、功耗低才能使得端侧设备承载大模型能力成为现实。
2022年6月，文心大模型中的轻量化技术加持的多个文心 ERNIE 3.0 Tiny 轻量级模型开源至飞桨自然语言处理模型库 PaddleNLP 中，该模型刷新了中文小模型的 SOTA 成绩，配套模型动态裁剪和量化推理方案，被学术与工业界广泛使用。
