1. 首頁 > 生活百科 > >

Quobyte推出GPU融合存儲技術優化AI集群數據處理

aicpugpu

Quobyte推出GPU融合存儲技術優化AI集群數據處理

Quobyte公司推出了GPU融合存儲技術 ， 旨在將其并行文件系統和對象存儲軟件中的數據更靠近GPU ， 并隨著GPU服務器的增加而擴展 。
這一理念是通過使用GPU服務器現有的驅動器并將其集群化、融合到共享池中 ， 來簡化和加速GPU服務器的數據存儲 。
Quobyte營銷主管Saurabh Kumar表示：\"GPU服務器包含的遠不止GPU 。 每個節點都配備強大的CPU、大容量RAM和快速本地NVMe存儲 。 然而 ， 在大多數環境中 ， 這些資源都未得到充分利用 。 在大規模部署中 ， 這種閑置容量成為現代AI集群中最大的隱性低效問題之一 。 GPU融合存儲提供了一種將這種未充分利用轉化為價值的方法 。 \"
在超融合基礎設施（HCI）設備系統出現之前 ， 存儲是通過網絡鏈路由外部存儲陣列提供給一組應用服務器的 。 例如 ， 存儲區域網絡（SAN）為應用服務器提供塊存儲 。 HCI改變了這種模式 ， 通過擁有虛擬化應用服務器集群 。 例如 ， VMware系統使用其本地存儲驅動器 ， 創建虛擬SAN（vSAN） 。 這消除了外部陣列及其網絡鏈路 ， 隨著新應用服務器的添加而輕松擴展 ， 并降低了成本 。
Quobyte將同樣的理念應用于GPU服務器 。 這些服務器通常有兩種處理器 。 GPU通常配備專用高帶寬內存（HBM） ， 用于運行需要高度并行處理例程的工作負載 ， 還有CPU及其DRAM作為主機處理器 ， 將GPU服務器連接到其運行的系統網絡中 。 存在兩個獨立的內存：GPU的HBM和CPU的DRAM 。
GPU服務器還有本地存儲驅動器 ， 通常是NVMe SSD ， 由CPU（通常是x86處理器）管理 。 Quobyte的GPU融合存儲將這些本地驅動器轉換為跨GPU服務器集群擴展的存儲池 。 該池中的數據被輸入到CPU的DRAM中 ， 然后根據需要以高速度和低延遲傳輸到GPU的HBM中 ， 延遲遠低于從外部陣列傳輸數據的情況 。 Quobyte的預取算法在這里發揮了優勢 。
Kumar說：\"通過在GPU節點本身上運行存儲并使用其多余的CPU和閃存 ， 組織可以降低成本、功耗、設備數量、交換機端口和整體基礎設施復雜性 。 \"
他舉了一個功耗成本節約的例子：\"在大約10000個GPU節點的集群中 ， CPU平均利用率約為30% ， 未使用的70%仍然消耗大部分功率預算 。 即使保守估計每個節點200瓦的空閑CPU功率 ， 乘以數千個全天候運行的節點 ， 每年的電費可能超過2.5億美元 。 這些CPU被供電、冷卻和付費 ， 但很少被充分利用 。 GPU融合存儲將這種浪費轉化為生產性基礎設施 。 \"
Quobyte指出 ， GPU服務器并非萬無一失 ， 經常會停機 。 Kumar寫道：\"GPU節點的行為不像典型的存儲服務器或設備 。 它們經常重啟進行更新 ， 運行前沿內核和軟件版本 ， 并且在出現故障時經常被移除或更換 。 \"
該公司的容錯文件系統軟件為此類中斷提供保護 。 它假設硬件會故障 ， 并確保在節點中斷發生時維護數據完整性和可用性 。 GPU融合存儲通過節點重啟和故障保持可用 。
Quobyte表示 ， GPU融合存儲降低了整體成本 ， 因為它\"使用GPU節點內的備用CPU、RAM和NVMe來降低基礎設施支出和功耗 ， 而無需添加新硬件 。 \"每個添加的GPU節點都會自動貢獻存儲容量和吞吐量 。 沒有單獨的存儲層需要獨立調整大小、部署或擴展 。 Kumar說這\"符合現代AI的經濟學：規模正在加速 ， 但功率和空間卻沒有 。 \"
有興趣的各方可以在此處申請訪問Quobyte的GPU融合存儲 。
Q&A
Q1：GPU融合存儲是什么技術？
A：GPU融合存儲是Quobyte公司推出的一項技術 ， 它將GPU服務器現有的本地驅動器集群化并融合到共享存儲池中 ， 使數據能夠更靠近GPU處理 ， 提高數據傳輸速度并降低延遲 。
Q2：GPU融合存儲能帶來什么好處？
A：GPU融合存儲可以充分利用GPU服務器中閑置的CPU、RAM和NVMe存儲資源 ， 降低基礎設施成本、功耗和復雜性 。 據估算 ， 在10000個GPU節點的集群中 ， 僅電費一項每年就能節省超過2.5億美元 。
Q3：GPU融合存儲如何處理服務器故障問題？
A：Quobyte的容錯文件系統軟件專門為GPU服務器的特殊情況設計 ， 能夠應對GPU節點頻繁重啟、更新和故障的情況 ， 確保在節點中斷時仍能維護數據完整性和可用性 。
【Quobyte推出GPU融合存儲技術優化AI集群數據處理】

    推薦閱讀