1. 首頁 > 生活百科 > >

高性能\孤兒\DAOS與Enakta Labs的復興之路

人工智能ai浪潮

高性能\孤兒\DAOS與Enakta Labs的復興之路

DAOS是英特爾在Optane時代開發的并行文件系統 ， 如今這個\"不受待見\"的產品正憑借其卓越性能被Enakta Labs和DAOS基金會的其他成員重新激活 。
分布式異步對象存儲軟件DAOS的發展歷程
我們在四月份曾報道過DAOS（分布式異步對象存儲軟件） ， 當時提到DAOS基金會于2023年底由DAOS用戶阿貢國家實驗室、Enakta Labs、谷歌、HPE（Cray部門）和英特爾共同成立 ， VDURA于去年加入 。 值得注意的是 ， 采用Optane模式的Aurora DAOS系統在2023年贏得了IO500生產環境總體得分榜首 ， 輸出帶寬達到1.3 TBps 。 顯然 ， DAOS具有卓越的性能表現 。 隨著Optane的消失 ， DAOS已經重新架構 ， 使用快速SSD作為元數據存儲 ， 性能基本保持不變 。
DAOS面臨的市場競爭環境
作為開源并行文件系統 ， DAOS必須在眾多競爭產品中爭奪關注度 ， 包括Storage Scale（IBM大力發展的GFS）、Lustre等重量級產品 ， 以及BeeGFS、Quobyte和VDURA的PanFS 。 這些系統都專注于高性能計算領域 ， 擁有相當廣泛的采用度 ， 特別是Storage Scale和Lustre 。 而據我們了解 ， DAOS的采用相對有限 ， 主要被一些重視其高性能和開源特性的機構使用 ， Aurora超級計算機系統就是典型例子 。
這些競爭系統也都在響應企業對AI工作負載的需求 ， 為GPU服務器系統提供高帶寬的文件和對象數據流 。 這使它們與其他英偉達驗證的存儲供應商產生競爭 ， 如NetApp、Pure Storage、WEKA和VAST Data ， 更不用說戴爾和HPE 。 所有這些高性能計算和企業快速存儲供應商都已建立完善 ， 擁有大量的開發和支持團隊 ， 以及營銷預算 。 而DAOS作為\"孤兒\"產品 ， 這些都沒有 。
Enakta Labs的商業化努力
DAOS確實擁有的是其卓越的性能、技術可信度和開源特性 。
Denis Nuja是英國Enakta Labs的創始人 ， 擁有豐富的Linux相關履歷 。 我們與他會面討論了DAOS的現狀和發展方向 。 他表示 ， Enakta希望將DAOS商業化 ， 公司基于DAOS開發了Enakta數據平臺產品 。 Enakta增加了對S3、SMB、NFS的支持 ， 并針對AI工作負載支持PyTorch 。 由于它同時支持塊、文件和對象存儲 ， 我們可以將DAOS視為新的Ceph 。 公司已與Kioxia和超微合作發布了參考架構 。
Nuja認為 ， DAOS的潛在采用者包括新興云服務商和主權云 。 由于DAOS是開源的 ， 不存在廠商鎖定問題 ， 而且可以說它比競爭軟件有更好的帶寬和延遲數據 ， 這意味著它能讓昂貴的GPU集群保持更高的利用率 。 Enakta還能提供直接的工程師級支持 。
性能優勢與成本考量
雖然DAOS可以為客戶節省高性能存儲軟件成本 ， 但Nuja坦言 ， GPU及其內存、電力和冷卻成本如此高昂 ， 存儲軟件的節省可能只是舍入誤差 。 性能（即延遲和帶寬）是客戶對存儲軟件的關鍵需求 ， 其次是可靠性和響應迅速的專業支持 。 成本反而是次要考慮因素 。
據我們了解 ， Enakta正在一個價值5億美元的GPU集群上對其基于DAOS的最新版本軟件進行基準測試 ， 該集群屬于一家大型云運營商 ， 初步結果令人印象深刻 。 我們想知道是否有可能進行另一次IO500測試 。
未來展望與挑戰
Nuja提出了一個觀點：基于DAOS構建的商業化、企業級版本可以在通用硬件上運行 ， 性能甚至可以超越世界上最強大的超級計算機存儲系統 。 我們談論的是一批超微級GPU服務器 ， 配備NVMe SSD并運行Linux 。 我們認為 ， DAOS需要展示出實質性的性能優勢 ， 才能說服潛在客戶將目光從DDN、Pure、WEKA、VAST等資金雄厚、營銷精良的公司轉移過來 。
這讓我們期待即將到來的2025年超級計算大會（11月16-21日在密蘇里州圣路易斯舉行） ， 屆時將公布官方IO500基準測試結果 。 這個\"孤兒\"產品可能會大放異彩 。
Q&A
Q1：DAOS是什么？有什么特殊之處？
A：DAOS是分布式異步對象存儲軟件 ， 原本是英特爾在Optane時代開發的并行文件系統 。 它最大的特點是擁有卓越的性能表現 ， Aurora DAOS系統曾在2023年贏得IO500生產環境總體得分榜首 ， 輸出帶寬達到1.3 TBps 。
Q2：Enakta Labs如何將DAOS商業化？
A：Enakta Labs基于DAOS開發了Enakta數據平臺產品 ， 增加了對S3、SMB、NFS的支持 ， 并針對AI工作負載支持PyTorch 。 同時支持塊、文件和對象存儲 ， 可以視為新的Ceph替代方案 ， 并能提供直接的工程師級支持 。
Q3：DAOS面臨哪些市場競爭挑戰？
A：DAOS需要與Storage Scale、Lustre、BeeGFS等成熟的并行文件系統競爭 ， 這些競爭對手都有完善的開發支持團隊和營銷預算 。 作為\"孤兒\"產品 ， DAOS缺乏這些資源 ， 需要通過展示實質性的性能優勢來吸引客戶 。
【高性能\孤兒\DAOS與Enakta Labs的復興之路】

    推薦閱讀