在 GPT 3B 模型上线时，我们使用 python-rpc 的 Task 模式部署。随着模型参数越来越大， 单个T4卡已经无法存放下，为了部署 13B 模型，我们遇到了以下问题:资源浪费， 使用 Transformers 接口加载模型， 需要先将模型完全加载到内存后再写入 GPU 中，因此，容器至少需要 73G 内存，然而 V100 单卡容器最多只有 46G 内存， 也就是说这个服务至少需要2 张 V100 才能完成部署。
本公众号已接入了 AI 绘画工具 Midjourney，可以让你轻松画出很多“大师”级的作品。同时还接入了 AI 聊天机器人，支持 GPT、Claude 以及 Laf 专有模型，可通过指令来随意切换模型。
12 月 14 日，在 AICon 全球人工智能开发与应用大会 2024 北京站【RAG 在企业落地的难点与创新】专题圆桌交流中，百度研究院商业智能实验室负责人周景博博士担任主持人，与百度灵医大模型底座技术负责人夏源、Hugging Face Machine Learning Engineer 尹一峰、火山引擎技术专家田昕晖、阿里云高级技术专家费跃，共同探讨 RAG 技术在不同领域中的应用维度。
AI兴起之后，GitHub上涌现出很多免费的神级AI项目，让人眼花缭乱。项目介绍:Ollama现在特别的火，它可以帮助用户在本地电脑上运行、创建和管理大模型，整体使用的感觉和Docker很像，特别简单，并且现在很多项目都支持Ollama的接入方式。
