2月28日消息，在不舍與興奮中，我們迎來了DeepSeek開源周第五天。今天DeepSeek開源的項目是：Fire-Flyer文件系統(tǒng)，即3FS。
據(jù)了解，3FS是一個高性能并行文件系統(tǒng)，它是所有Deepseek數(shù)據(jù)訪問的助推器，能應(yīng)對AI訓(xùn)練和推理工作負載的挑戰(zhàn)。
它利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)提供共享存儲層，能簡化分布式應(yīng)用程序的開發(fā)，具有以下主要特性：
1、分離式架構(gòu)：結(jié)合了數(shù)千個SSD和數(shù)百個存儲節(jié)點的網(wǎng)絡(luò)帶寬，使應(yīng)用程序可以不受位置限制地訪問存儲資源
2、強一致性：實現(xiàn)了鏈?zhǔn)綇?fù)制與分配查詢(CRAQ)協(xié)議，確保數(shù)據(jù)的強一致性，簡化應(yīng)用程序開發(fā)
3、文件接口：提供基于事務(wù)性鍵值存儲(如FoundationDB)支持的無狀態(tài)元數(shù)據(jù)服務(wù)，使用通用的文件接口，無需學(xué)習(xí)新的存儲API
4、多樣化工作負載支持
4.1 數(shù)據(jù)準(zhǔn)備：高效組織數(shù)據(jù)分析管道的輸出和管理大量中間結(jié)果
4.2 數(shù)據(jù)加載：支持計算節(jié)點間的訓(xùn)練樣本隨機訪問，消除預(yù)取或打亂數(shù)據(jù)集的需求
4.3 檢查點保存：支持大規(guī)模訓(xùn)練的高吞吐并行檢查點保存
4.4 推理KVCache：提供比基于內(nèi)存緩存更具成本效益的替代方案，同時提供高吞吐量和更大容量
另外，3FS的核心性能指標(biāo)表現(xiàn)在聚合讀取吞吐量上，具體體現(xiàn)就是在由180個存儲節(jié)點組成的集群中，可實現(xiàn) 6.6 TiB/s 的聚合讀取吞吐量。
在基準(zhǔn)測試表現(xiàn)中，在25節(jié)點集群的 GraySort 基準(zhǔn)測試中，吞吐量可達 3.66 TiB/分鐘；在單客戶端節(jié)點的 KVCache 查找峰值吞吐量超過40 GiB/s。
尤其值得一提的是，3FS對于V3和R1中訓(xùn)練數(shù)據(jù)預(yù)處理、數(shù)據(jù)集加載、嵌入向量搜索和KV Cache查找等工作，都立下了汗馬功勞，可謂功高蓋主！
網(wǎng)友們表示，3FS和Smallpond為AI數(shù)據(jù)處理設(shè)定了新基準(zhǔn)，將改變數(shù)據(jù)處理的游戲規(guī)則。這對于AI演化來說，相當(dāng)于從自行車升級到了高鐵！大家說，3FS牛不牛！
