微軟Azure展示了世界上第一個定制的Nvidia Blackwell服務器機架

微軟Azure展示了世界上第一個定制的Nvidia Blackwell服務器機架

文章圖片

隨著努力訓練具有越來越多參數的大型語言模型(LLM) , 英偉達的Blackwell處理器成為目前最受歡迎的數據中心硬件之一 。 有傳言稱微軟是第一個獲得Blackwell服務器的公司 , 如今 , 微軟表示 , 不僅獲得了Nvidia Blackwell , 而且它們已經運行 。

“微軟Azure是第一個運行Nvidia Blackwell系統和GB200驅動的AI服務器的云服務提供商 , ”微軟Azure在X上的一篇文章中寫道 , “我們正在優化每一層 , 利用InfiniBand網絡和創新的閉環液體冷卻技術 , 以支持世界上最先進的AI模型 。 ”
因此 , 微軟Azure至少有一個基于GB200的服務器機架 , 配備了數量不明的B200處理器 , 可能是32個 。 它使用了一個高度復雜的液體冷卻系統 。 這臺機器不是Nvidia的NVL72 GB200 , 據報道微軟更喜歡這種密度更高的變體 , 而不是密度較低的版本 。 這個特定的機架很可能會被用于測試目的(包括Nvidia Blackwell GPU和液體冷卻系統) , 在接下來的幾個月里 , 微軟將部署基于Blackwell的服務器來處理商業工作負載 。

預計一臺配備72個B200圖形處理器的NVL72 GB200機器將消耗和散發大約120千瓦的電力 , 這使得液體冷卻對于這類機器來說是強制性的 。 因此 , 微軟在部署基于Blackwell的機柜之前測試自己的液體冷卻解決方案是一個好主意 。
英偉達的B200 GPU在FP8/INT8性能方面比H100處理器高1.5倍(4500 TFLOPS/TOPS對1980 TOPS) 。 在FP4數據格式下 , 英偉達的B200提供了高達9 PetaFLOPS的性能 , 為訓練極其復雜的LLM打開了大門 , 這可以為AI在一般使用模式上帶來新的模式 。
【微軟Azure展示了世界上第一個定制的Nvidia Blackwell服務器機架】預計微軟將在其年度Ignite會議上分享更多關于其基于Blackwell的機器和AI項目的細節 。 MS Ignite會議將于2024年11月18日至11月22日在芝加哥舉行 。 預計Blackwell服務器安裝的大規模部署將在年底或2025年初加速 。

    推薦閱讀