1. 首頁 > 生活百科 > >

英偉達GB10工作站：128GB顯存突破AI算力極限

人工智能aiSparkit芯片英偉達算力

英偉達GB10工作站：128GB顯存突破AI算力極限

英偉達最小的Grace-Blackwell工作站本周終于上市 ， 距離這家GPU巨頭在CES上首次展示這款AI迷你PC（當時稱為Project Digits）已近一年時間 。
現在重新命名為DGX Spark ， 這款大約NUC尺寸的系統搭配了一顆Blackwell GPU ， 能夠提供高達1千萬億次的稀疏FP4性能 ， 配備128GB統一系統內存和200Gbps高速網絡連接 。
雖然體積小巧 ， 但價格并不便宜 ， 起售價約3000美元 。 不過 ， 它的目標用戶并非主流PC購買者 。 這些系統還將通過OEM合作伙伴以各種品牌名稱銷售 ， 甚至不會預裝Windows系統 。 這并非Copilot+ PC ， 而是搭載定制版Ubuntu Linux系統 。
Spark實際上是為AI和機器人開發者、數據科學家以及機器學習研究人員設計的 ， 他們需要一個成本較低但仍能運行高達2000億參數模型的工作站平臺 。
這類工作負載對內存需求極大 ， 在消費級顯卡上運行并不現實 。 高端工作站顯卡如RTX Pro 6000可配備高達96GB的高速GDDR7內存 ， 但單卡價格就超過8000美元 ， 還不包括其他平臺成本 。
在發布時 ， DGX Spark在技術上是英偉達內存容量最大的工作站GPU ， 至少在基于Blackwell Ultra的DGX Station發布之前是如此 。
超級芯片的小型化
DGX Spark采用GB10片上系統芯片 ， 本質上是為旗艦NVL72機架系統提供動力的Grace-Blackwell超級芯片的小型化版本 。
正如我們在Hot Chips大會上探討的 ， GB10由兩個計算芯片組成 ， 通過英偉達專有的NVLink芯片互連技術以600GB/s的速度連接 。 順便提一下 ， 這項技術最終將用于將英偉達GPU與英特爾未來的客戶端CPU連接 ， 作為兩家芯片巨頭合作的一部分 。
GPU芯片能夠提供高達1千萬億次的稀疏FP4算力 ， 或約31萬億次單精度（FP32）算力 ， 在原始性能方面與RTX 5070相當 。 是的 ， 這款售價550美元的消費級顯卡確實提供了兩倍多的內存帶寬 ， 但由于只有12GB GDDR7內存 ， 在模型和AI工作負載運行方面會受到相當限制 。
與英偉達原始的Grace CPU不同 ， GB10的CPU芯片并未使用Arm的Neoverse V2核心 。 相反 ， 該芯片是與聯發科合作設計的 ， 配備20個ARMv9.2核心 。 其中10個是Arm的高性能X925核心 ， 其余基于效率優化的Cortex A725核心 。
與蘋果M系列和AMD Strix Halo SoC類似 ， GB10的CPU和GPU都由LPDDR5x公共內存池供電 。 這種計算和內存的緊密耦合使得這些芯片制造商能夠實現比當今傳統PC平臺高兩倍以上的帶寬 。 對于GB10 ， 英偉達聲稱內存帶寬為273GB/s 。
擴展能力
在Spark上你會發現一個其他系統沒有的功能：高速網絡連接 。 就像英偉達的數據中心平臺一樣 ， Spark的GB10配備了集成的ConnectX-7網絡卡 ， 背面有一對QSFP以太網端口 。
雖然理論上可以用于高速網絡連接 ， 但這些端口實際上是為連接兩臺DGX Spark而設計的 ， 有效地將其微調和推理能力翻倍 。
在這種配置下 ， 英偉達表示用戶能夠在4位精度下對高達4050億參數的模型進行推理 。
來自英偉達、宏碁、華碩、戴爾科技、技嘉、慧與、聯想和微星的DGX Spark系統將于10月15日開始銷售 。
Q&A
Q1：DGX Spark工作站的主要配置是什么？
A：DGX Spark搭載GB10芯片 ， 提供1千萬億次稀疏FP4算力或31萬億次單精度算力 ， 配備128GB統一系統內存、200Gbps高速網絡連接和273GB/s內存帶寬 ， 大約NUC尺寸 ， 預裝定制版Ubuntu Linux系統 。
Q2：DGX Spark與消費級顯卡相比有什么優勢？
A：雖然GPU性能與RTX 5070相當 ， 但DGX Spark擁有128GB統一內存 ， 而RTX 5070僅有12GB GDDR7 。 這使得DGX Spark能夠運行高達2000億參數的大模型 ， 滿足AI和機器學習研究的內存需求 。
Q3：DGX Spark支持多機連接嗎？
A：支持 。 通過集成的ConnectX-7網絡卡和背面的QSFP以太網端口 ， 可以連接兩臺DGX Spark ， 有效翻倍其微調和推理能力 。 在雙機配置下 ， 用戶可以在4位精度下對高達4050億參數的模型進行推理 。
【英偉達GB10工作站：128GB顯存突破AI算力極限】

    推薦閱讀