1. 首頁 > 生活百科 > >

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

芯片英偉達交換機博通

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片

InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭

文章圖片


本文由半導體產業縱橫（ID：ICVIEWS）編譯自TrendForce
高性能計算的內部通信之爭 。

以太網有望重回橫向擴展數據中心的主流地位 ， 而InfiniBand在高性能計算領域依然保持強勁勢頭 。 博通和英偉達正在爭奪市場主導地位 。
隨著人工智能模型規模呈指數級增長 ， 數據中心的擴展方式已從單系統縱向擴展架構轉向涉及數萬個互連節點的橫向擴展架構 。 橫向擴展網絡市場主要由兩種相互競爭的技術主導：
InfiniBand：作為性能領先者 ， 由 NVIDIA 子公司 Mellanox 推動 ， 它利用原生 RDMA 協議提供極低的延遲（低于 2 微秒） ， 且零丟包風險 。
以太網：憑借開放的生態系統和顯著的成本優勢 ， 它受到博通等主要廠商的大力支持 。
2025年6月 ， 以太網發起強有力的反擊 。 超以太網聯盟（UEC）發布了UEC 1.0規范 ， 該規范重構了網絡協議棧 ， 實現了媲美InfiniBand的性能 。 憑借多項優勢 ， 以太網有望逐步擴大市場份額 。 這一技術變革正在重塑橫向擴展市場的整個競爭格局 。

橫向擴展的關鍵戰?。 篒nfiniBand優勢與以太網反擊主流的橫向擴展 InfiniBand 架構本身就支持遠程直接內存訪問 (RDMA) ， 其工作原理如下：
在數據傳輸過程中 ， DMA 控制器將數據發送到支持 RDMA 的網絡接口卡 (RNIC) 。
RNIC 將數據打包并直接傳輸到接收 RNIC 。
由于該過程繞過了 CPU ， 與傳統的 TCP/IP 協議不同 ， InfiniBand 數據傳輸可以實現極低的延遲 ， 低于 2 μs 。
此外 ， InfiniBand 還具有鏈路層基于信用的流量控制 (CBFC) 機制 ， 可確保僅在接收器有可用緩沖區空間時才傳輸數據 ， 從而保證零丟包 。
原生 RDMA 協議需要 InfiniBand 交換機才能正常工作 。 然而 ， InfiniBand 交換機長期以來一直被 NVIDIA 的 Mellanox 所主導 ， 這使得整個生態系統相對封閉 ， 采購和維護成本也更高；硬件成本大約是以太網交換機的三倍 。

由于其開放的生態系統、眾多供應商、靈活的部署方式和較低的硬件成本 ， 以太網已逐漸獲得廣泛應用 。
為了將 RDMA 的優勢引入以太網 ， IBTA（InfiniBand 貿易協會）于 2010 年推出了基于融合以太網的 RDMA（RoCE） 。 最初的 RoCE v1 僅在鏈路層添加了以太網報頭 ， 將通信限制在二層子網內 ， 并阻止了跨路由器或不同子網的傳輸 。
為了增強部署靈活性 ， IBTA 于 2014 年發布了 RoCE v2 。 它將三層網絡層中的 InfiniBand GRH（全局路由頭）替換為 IP/UDP 頭部 。 這一改變使得標準以太網交換機和路由器能夠識別并轉發 RoCE 數據包 ， 從而實現跨多個子網或路由器的傳輸 ， 極大地提高了部署靈活性 。 然而 ， RoCE v2 的延遲仍然略高于原生 RDMA ， 約為 5 微秒 ， 并且需要額外的功能（例如 PFC 和 ECN）來降低丟包風險 。

上圖突出了InfiniBand與RDMA技術下開放式RoCE的主要比較：

  • InfiniBand 使用完全專有的封閉協議棧 ， 實現了最低的延遲 。
  • RoCE v1 模擬以太網上的 IB 架構 ， 但只能在同一個二層子網內運行 。
  • RoCE v2 使用 IP 網絡層 ， 支持跨子網通信 ， 并與現有的以太網數據中心基礎設施具有最高的兼容性 。

InfiniBand 具有極低的延遲和零丟包等固有優勢 ， 因此在當今的 AI 數據中心中仍然被廣泛采用；然而 ， 它的硬件和維護成本較高 ， 且供應商選擇有限 。 相比之下 ， 基于以太網的 RoCE v2 雖然無法達到與 InfiniBand 相同的性能 ， 但它提供了一個開放的生態系統 ， 并且硬件和維護成本更低 ， 這促使人們逐漸轉向以太網架構 。

目前 ， 人工智能數據中心需求的增長 ， 以及成本和生態系統方面的考量 ， 促使英偉達進軍以太網市場 。 除了自家的InfiniBand交換機Quantum系列之外 ， 英偉達目前還提供Spectrum系列以太網產品 。
今年 ， Quantum-X800 可提供 800 Gbps/端口 × 144 個端口 ， 總計 115.2 Tbps；Spectrum-X800 可提供 800 Gbps/端口 × 64 個端口 ， 總計 51.2 Tbps 。 Quantum-X800 和 Spectrum-X800 的 CPO（共封裝光模塊）版本預計將分別于 2025 年下半年和 2026 年下半年推出 。
雖然 Spectrum 的價格高于其他廠商的以太網交換機 ， 但NVIDIA 的優勢在于其硬件和軟件的深度集成 ， 例如 ， 與 BlueField-3 DPU 和 DOCA 2.0 平臺配合使用 ， 可實現高效的自適應路由 。
交換機IC成本與CPO部署競賽：以太網領先 ， InfiniBand緊隨其后在以太網領域 ， 博通始終保持著以太網交換機的技術領先地位 。 其Tomahawk系列交換機芯片遵循“每兩年將總帶寬翻一番”的原則 。 到2025年 ， 博通推出了Tomahawk 6 ， 這是目前全球總帶寬最高的交換機芯片 ， 總帶寬高達102.4 Tbps ， 支持1.6 Tbps/端口×64端口 。 此外 ， Tomahawk 6還支持超高速UEC 1.0協議 ， 實現了多路徑數據包噴射、LLR和CBFC等功能 ， 進一步降低了延遲和丟包風險 。
博通在CPO技術領域也處于領先地位 。 自2022年以來 ， 該公司發布了Tomahawk 4 Humboldt的CPO版本 ， 隨后在2024年發布了Tomahawk 5 Bailly ， 并在2025年繼續推出Tomahawk 6 Davisson ， 鞏固了其在以太網硬件集成領域的領先地位 。

與今年率先推出 102.4 Tbps Tomahawk 6 的博通相比 ， 英偉達預計要到 2026 年下半年才會發布 102.4 Tbps Spectrum-X1600 ， 其技術比博通落后大約一年 。
關于 CPO ， NVIDIA 預計也將在 2026 年下半年推出 102.4 Tbps Spectrum-X Photonics 的 CPO 版本 ， 目標是趕上博通 。

除了博通和英偉達陣營之外 ， 其他廠商也加入了這場競爭 。 Marvell 于 2023 年推出了總帶寬為 51.2 Tbps 的 Teralynx 10 ， 思科也于 2023 年發布了總帶寬為 51.2 Tbps 的 Cisco Silicon One G200 系列 ， 以及他們的 CPO 原型機 。
電通信達到極限 ， 光集成成為焦點【InfiniBand與以太網：博通與英偉達的橫向擴展技術之爭】傳統數據傳輸主要依賴于銅纜電通信 。 然而 ， 隨著傳輸距離需求的增加 ， 光纖光通信在橫向擴展場景中逐漸展現出優勢 。 如表6所示 ， 與電通信相比 ， 光通信具有損耗低、帶寬高、抗電磁干擾能力強、傳輸距離遠等優點 。

目前 ， 光通信主要采用可插拔光收發器進行電光信號轉換 。 單通道傳輸速度已達到 200 Gbps ， 總帶寬高達 1.6 Tbps（8 × 200 Gbps） 。
隨著速度的提升 ， 功耗增加 ， 電路板上的信號損耗也更加明顯 。 硅光子學（SiPh）技術正是為了解決這些問題而開發的 。
硅光子學將微型收發器組件集成到硅芯片中 ， 形成光子集成電路 (PIC) ， 如下圖所示 。 PIC 進一步封裝在芯片內部 ， 縮短了電氣距離 ， 并用光路取而代之 。 這種封裝方法稱為共封裝光學器件 (CPO) 。

下圖 ， 顯示了 CPO 的更廣泛概念 ， 涵蓋多種封裝形式 ， 包括 OBO（板載光學器件）、CPO 和 OIO（光學 I/O） 。

光引擎 (OE) 的封裝逐漸靠近主 ASIC 。 其演變細節如下：
  • OBO：將 OE 封裝在 PCB 上 ， 現在這種封裝方式不太常用 。
  • 窄型CPO：將OE封裝在基板上 ， 這是目前的主流解決方案 。 與可插拔模塊相比 ， 功耗降低至<0.5倍（~5 pJ/bit） ， 延遲降低至<0.1倍（~10 ns） 。
  • OIO：將OE封裝在中介層上 ， 代表了未來的發展方向 。 與可插拔模塊相比 ， 功耗降低至<0.1倍（<1 pJ/bit） ， 延遲降低至<0.05倍（~5 ns） 。
然而 ， CPO仍然面臨著諸如熱管理、鍵合和耦合等技術挑戰 。 隨著光通信技術接近其極限 ， CPO和硅光子學的突破將決定橫向擴展網絡的下一個競爭格局 。
以太網陣營集結：UEC推廣UEC 1.0標準如前所述 ， InfiniBand憑借其極低的延遲 ， 在生成式人工智能發展的早期階段便占據了相當大的市場份額 。 然而 ， 作為主流高性能網絡生態系統之一 ， 以太網也致力于實現極低延遲 。
2023年8月 ， 超以太網聯盟（UEC）成立 ， 其初始成員包括AMD、Arista、博通、思科、Eviden、HPE、英特爾、Meta和微軟 。
與 NVIDIA 主導的 InfiniBand 生態系統相比 ， UEC 強調開放標準和互操作性 ， 以避免對單一供應商的依賴 。
2025 年 6 月 ， UEC 發布了 UEC 1.0 ， 它不僅僅是基于 RoCE v2 的改進 ， 而是對所有層（包括軟件層、傳輸層、網絡層、鏈路層和物理層）的完全重建 。

降低延遲的關鍵改進之一是在傳輸層添加數據包交付子層（PDS）功能 。 其主要特點包括：
  • 利用多路徑傳輸 ， 在端點之間存在多條等距且速度相同的路徑（軌道/車道） 。
  • 網卡使用熵值將數據包分配到所有通道上 ， 從而實現并行傳輸 ， 以獲得更大的帶寬 。
這種多層結構可以加速網絡恢復 ， 例如快速替換丟失的數據包以確保流量順暢 ， 近似于 InfiniBand 的自適應路由 。
另一方面 ， 為了降低丟包風險 ， UEC 1.0 引入了兩項主要變化：
  • 鏈路層提供了一個可選的鏈路層重試 (LLR) 功能 ， 允許本地鏈路在數據包丟失時快速請求重傳 ， 從而減少對優先級流控制 (PFC) 機制的依賴 。
  • 鏈路層提供了一種可選的基于信用的流量控制 (CBFC) 功能 ， 發送方必須先從接收方獲得信用才能發送數據 。 接收方在處理數據并釋放緩沖區空間后返回新的信用 ， 從而實現無丟包風險的流量控制 ， 類似于 InfiniBand 的 CBFC 。
中國的規模化發展：協調標準與自主研發技術中國的AI基礎設施橫向擴展架構正沿著自主性和國際兼容性原則發展 。 在遵循國際以太網標準的同時 ， 國內主要企業也在積極投資自主架構 ， 逐步形成具有本土特色的橫向擴展系統 。
阿里巴巴、百度、華為和騰訊等眾多科技巨頭選擇加入UEC ， 共同推進UEC標準的制定 。 除了參與標準化工作外 ， 中國企業也在自主研發橫向擴展架構 ， 這些架構通常以低延遲和零丟包為目標 ， 并直接與InfiniBand進行對比 。

這些專有技術架構的具體細節如下：
中國移動：通用調度以太網（GSE）
中國移動在2023年5月UEC架構之前推出了GSE 。 它分為兩個階段：GSE1.0 通過端口級負載均衡和端點網絡擁塞感知來優化現有的 RoCE 網絡 ， 提高數據傳輸穩定性和整體性能 ， 同時減少計算浪費 。 GSE 2.0是一次完整的網絡重構 ， 從控制層、傳輸層到計算層重新構建了協議 。 它實現了多路徑噴射和流量控制機制（DGSQ） ， 能夠更高效地分配流量 ， 進一步降低延遲和丟包率 ， 以滿足未來人工智能計算中心的高性能需求 。
阿里云：高性能網絡（HPN）
阿里云高性能網絡7.0采用“雙上行+多通道+雙平面”設計 。 雙上行提升網絡 性能 ， 多通道實現并行數據包傳輸 ， 雙平面增強穩定性 。 下一代高性能網絡8.0計劃采用全自主研發的硬件 ， 例如可實現800Gbps帶寬的102.4Tbps交換芯片 ， 并與國際同類解決方案展開對標 。
華為：UB-Mesh互連架構
華為在昇騰NPU平臺上部署了自主研發的UB-Mesh架構 ， 采用多維nD全網狀拓撲結構 ， 支持橫向向上擴展和縱向向外擴展 。 當擴展到三維及以上維度時 ， 即可達到橫向向外擴展級別 ， 能夠支持超大規模AI訓練集群 。 中國自主研發的橫向擴展架構持續發展 ， 有望為本土企業帶來更大的增長機遇 。 隨著中興通訊、光迅科技等企業的參與 ， 國產光模塊和硅光子技術有望形成完整的產業鏈 ， 從而在人工智能基礎設施網絡領域開辟一條獨具特色的中國發展道路 。
下一代人工智能數據中心：技術轉型與機遇長期以來 ， NVIDIA 的 InfiniBand 憑借其超低延遲（低于 2 微秒）和零丟包率 ， 在 AI 數據中心的橫向擴展市場占據主導地位 。 然而 ， 隨著 UEC 1.0 標準于 2025 年 6 月發布 ， 以太網正努力追趕 InfiniBand 的低延遲和高穩定性 ， 逐步重奪市場競爭力 。 與此同時 ， 博通持續的研發周期 ， 每兩年將交換機 IC 的帶寬翻一番 ， 不斷提升以太網硬件的性能 。
隨著傳輸速率達到 1.6 Tbps 或更高 ， 傳統可插拔光模塊的功耗和延遲已成為瓶頸 ， 使得共封裝光模塊 (CPO) 技術在高性能網絡中日益普及 。 CPO 將光收發器直接集成到交換芯片基板上 ， 顯著降低了功耗和延遲 。 博通公司在 CPO 技術方面一直處于領先地位 ， 自 2022 年以來已推出多代基于 CPO 的交換機 。 英偉達也計劃在 2025 年下半年發布 InfiniBand CPO 產品 ， 這預示著 CPO 將逐步成為網絡架構的主流 。
隨著以太網和CPO技術的成熟 ， 人工智能數據中心網絡正全面向高速光通信發展 ， 為光收發器模塊和上游供應鏈（包括硅光子芯片、激光源和光纖模塊）創造了新的增長機會 。
在橫向擴展架構領域 ， NVIDIA 預計將繼續引領傳統的 InfiniBand 市場 。 在以太網領域 ， 博通有望憑借其領先的高帶寬交換機 IC、CPO 技術以及 UEC 標準的實施 ， 保持其主要市場份額 。
2025年8月 ， NVIDIA和博通同時推出了Scale-Across概念 ， 旨在擴展跨多個數據中心的連接性 。 這種方法將實現更大規模的GPU互連和更遠距離的傳輸 ， 從而推動高性能網絡和數據中心架構的新范式 。
*聲明：本文系原作者創作 。 文章內容系其個人觀點 ， 我方轉載僅為分享與討論 ， 不代表我方贊成或認同 ， 如有異議 ， 請聯系后臺 。
想要獲取半導體產業的前沿洞見、技術速遞、趨勢解析 ， 關注我們！

    推薦閱讀