上节课，我带领小伙伴们完成了baichuan2量化模型的本地部署和基本用例测试。没有看过的小伙伴可以点击链接查看,AI大模型私有部署的技术指南LangChain开发环境准备-AI大模型私有部署的技术指南但是仅仅完成模型的部署和启动离通过LangChain来调用模型还差一步。
关于这一点，2019年深度学习泰斗、DeepMind首席科学家Richard Sutton在其《苦涩的教训》一文中就曾感言，从70年AI研究中可以学到的最大教训是，利用计算的一般方法最终是最有效的，而且有很大的优势，终极原因是摩尔定律，或者更确切地说，是它对每单位计算成本持续呈指数下降的概括，大多数AI研究都是在可用算力恒定的情况下进行的，但是，在比典型研究项目稍长的时间里，算力会大大增加，从长远来看，唯一重要的是利用计算。
面向更大市场，重视合规发展，中国AI大模型正加速“出海”斯坦福大学不久前发布的《2024年人工智能（AI）指数报告》称，2023年，知名人工智能模型中15个在中国。截至今年3月份，中国10亿参数规模以上的大模型数量已超100个，行业大模型深度赋能电子信息、医疗、交通等领域。
【1】图二. 引用自:Samyam Rajbhandari， Jeff Rasley， Olatunji Ruwase， Yuxiong He. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models . arXiv: 1910.02054v3 ， 2020-05-13.
前言相信这个春节大家都被deepseek刷屏了，写本篇文章是因为我经历过了各种付费+测试之后很艰难想入手大模型，国内的同学学技术还是太困难了，但是看到市面上各种火爆，实在有按捺不住想体验,终于迎来了一个契机。
本报记者 曲忠芳 北京报道“回顾过去的一年，智谱AI在大模型落地方面交出了一份还不错的答卷。原因在于我们并不是从2023年才开始做大模型。任何技术的爆发式增长，都不仅限于当前，而是基于过去若干年甚至几十年研究的积累，当你的积累到了某个阈值之后，才会产生这种爆发式的增长。
而在上个月召开的CVPR上，商汤科技发布的UniAD大模型更是使用单个视觉大模型在经过统一训练后去适配多个不同的下游任务，最后在多个任务中都大大超越了现有最好的模型:例如，多目标跟踪准确率超越了20%，车道线预测准确率提升 30%，预测运动位移和规划的误差则分别降低了 38% 和 28%。
·“Chiplet正是满足当下对算力需求的关键技术，一方面，将更多算力单元高密度、高效率、低功耗地连接在一起，从而实现超大规模计算。另一方面，极大提高异构核之间的传输速率，降低数据访问功耗，从而实现高速预处理和数据调度。同时，降低存储访问功耗，满足大模型参数需求。
