它在名为 Pile 的开源数据集的更大版本上进行训练，其中包含来自各种来源的信息，包括维基百科、Stack Exchange 和 PubMed，共 22 个数据集，容量达到 825GB，1.5 万亿个 token。
