谷歌JAX深度学习框架要求运行在Linux系统上，我们可以在Windows11系统中，利用WSL虚拟环境搭建Ubuntu虚拟机系统，在Windows11上运行PyCharm集成开发环境，调用Ubuntu虚拟机系统上的JAX框架，对代码进行编程和调试。
作者｜王益OneFlow社区编译翻译｜杨婷最近，我在处理 PyTorch 分布式和 TorchRec 相关的工作，为此，我开始学习 PyTorch 2.0。在业余时间，我也在跟着Alpa作者学习JAX和XLA。
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的一个支持最热门的深度学习库Jax、PyTorch和TensorFlow的预训练模型。
本篇报告中将涵盖以下主题:为何谷歌的 TensorFlow 输给了 PyTorch，谷歌为何没能利用其在人工智能领域的早期领导地位，机器学习模型训练时间的主要构成成分，内存容量、带宽、成本墙，模型优化，为何其他人工智能硬件公司至今无法撼动英伟达的统治地位，为何硬件地位逐渐重要，英伟达在 CUDA 上的竞争优势是如何消失的，以及英伟达的竞争对手在大型云的芯片训练上所取得的重大胜利。目前来说，虽然挑战不断，但谷歌仍是处于机器学习模型的最前沿。
本文是由中国人民大学教授Wayne Xin Zhao等人前几天刚公开的关于大语言模型的综述，论文正文部分共32页，包含了416个参考文献。本文综述了LLMs最近在四个主要方面的研究进展，包括预训练、适应调整、应用和能力评估。
