在由 180 个存储节点构成的集群里,3FS 实现了 6.6 TiB/s 的聚合读取吞吐量,每个存储节点配备 16 个 14TB NVMe SSD 以及高速 InfiniBand 网卡,充分满足千卡级训练集群的实时数据需求。
2月28日,DeepSeek开源周第五日,官宣开源面向DeepSeek全数据访问的推进器3FS。据介绍,Fire-Flyer文件系统(3FS)是一款并行文件系统,支持V3/R1版本中训练数据预处理、数据集加载、检查点保存/重载、推理阶段的向量嵌入搜索及KVCache查找。
国产人工智能企业深度求索开发的大模型DeepSeek开源周落下帷幕。2月28日,DeepSeek最新宣布,开源面向DeepSeek全数据访问的推进器3FS(Fire-Flyer File System)。