前言前面我们介绍过几款构建本地知识库的开源项目，其原理还是基于本地文件构建向量数据库的方式，通过调用现有GPT语言模型的能力做向量相似计算，对于希望基于GPT语言模型的能力构建自己的APP应用或者集成到现有产品中去实际上会非常方便，具有一定的市场空间。
在 GPT 3B 模型上线时，我们使用 python-rpc 的 Task 模式部署。随着模型参数越来越大， 单个T4卡已经无法存放下，为了部署 13B 模型，我们遇到了以下问题:资源浪费， 使用 Transformers 接口加载模型， 需要先将模型完全加载到内存后再写入 GPU 中，因此，容器至少需要 73G 内存，然而 V100 单卡容器最多只有 46G 内存， 也就是说这个服务至少需要2 张 V100 才能完成部署。
模型介绍Alpaca模型是斯坦福大学研发的LLM（Large Language Model，大语言）开源模型，是一个在52K指令上从LLaMA 7B（Meta公司开源的7B）模型微调而来，具有70亿的模型参数（模型参数越大，模型的推理能力越强，当然随之训练模型的成本也就越高）。
后续准备使用公司内部提供的试用资源【京东云GPU云主机p.n3a100系列】，这个产品提供Nvidia® A100 GPU，搭配使用Intel® Xeon® Platinum 8338C 处理器及DDR4内存，支持NVLink，单精度浮点运算峰值能达到156TFlops，可以说是最强算力了。
近年来，生成式预训练模型的兴起彻底颠覆了自然语言处理领域，其影响甚至已经延伸到其他多种模态。然而，像 ChatGPT 和 GPT-4 这样的模型，由于其巨大的模型规模与计算复杂度、复杂的部署方式以及未开源的训练模型，这些因素都限制了他们在学术界和工业界的推广与应用。
在科技日新月异的今天，个人数据存储和管理的方式也在不断发生着变革，曾经，我们依赖于笨重的移动硬盘和容量有限的网盘，而如今，一种更为便捷高效的解决方案正逐渐走入我们的视野——NAS，它就像一个私人数据中心，让我们可以随时随地访问、管理和共享自己的文件，国内知名软件厂商鲁大师也加入了这场数据存储的革新浪潮，推出了一款名为“ANAS”的软件，旨在将闲置电脑变身为功能强大的NAS服务器，这款软件究竟有何独特之处?
