DeepSeek宣布开源3FS 为用于所有DeepSeek数据访问的助推器

2月28日，DeepSeek宣布开源3FS文件系统，这是一种利用现代SSD和RDMA网络的并行文件系统，具备高性能和强一致性语义。主要特点包括在180节点集群中实现6.6TiB/s的聚合读取吞吐量，在25节点集群中实现3.66TiB/分钟的GraySort基准测试吞吐量，以及每个客户端节点超过40GiB/s的KVCache查找峰值吞吐量。3FS主要用于训练数据预处理、数据集加载等任务。