1. 首頁 > 生活百科 > >

昇騰生態再升級，華為宣布開源盤古7B稠密和72B混合專家模型

華為

昇騰生態再升級，華為宣布開源盤古7B稠密和72B混合專家模型

6月30日 ， 華為宣布開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型 ， 以及基于昇騰的模型推理技術 。
華為方面表示 ， 此舉是華為踐行昇騰生態戰略的又一關鍵舉措 ， 推動大模型技術的研究與創新發展 ， 加速推進人工智能在千行百業的應用與價值創造 。
目前 ， 盤古Pro MoE 72B模型權重、基礎推理代碼 ， 已正式上線開源平臺 。 基于昇騰的超大規模MoE模型推理代碼 ， 已正式上線開源平臺 。 盤古7B相關模型權重與推理代碼將于近期上線開源平臺 。
華為開源兩款模型 。 GitCode網站截圖
在針對盤古Pro MoE的報告中 ， 華為盤古團隊指出 ， 混合專家模型（MoE）在大語言模型（LLMs）中興起 ， 然而在實際部署中 ， 不同專家的激活頻率存在嚴重的不均衡問題 ， 一部分專家被過度調用 ， 而其他專家則長期閑置 ， 導致系統效率低下 。
為此 ， 華為盤古團隊提出了新型的分組混合專家模型（Mixture of Grouped Experts MoGE） ， 該模型在專家選擇階段對專家進行分組 ， 并約束token在每個組內激活等量專家 ， 從而實現專家負載均衡 ， 顯著提升模型在昇騰平臺的部署效率 。 基于MoGE架構 ， 團隊構建了總參數量720億、激活參數量160億的盤古Pro MoE模型 ， 并針對昇騰300I Duo和800I A2平臺進行系統優化 。
從效果來看 ， 盤古Pro MoE在昇騰800I A2上實現了單卡1148 tokens/s的推理吞吐性能 ， 并可進一步通過投機加速等技術提升至1528 tokens/s ， 顯著優于同等規模的320億和720億參數的稠密模型；在昇騰300I Duo推理服務器上 ， 也實現了極具性價比的模型推理方案 。
技術報告指出 ， 經研究表明 ， 昇騰NPU能夠支持盤古Pro MoE的大規模并行訓練 。 多項公開基準測試結果表明 ， 盤古Pro MoE在千億內總參數模型中處于領先地位 。
對于盤古70億參數的稠密模型 ， 華為研究團隊指出 ， 大語言模型（LLM）普遍面臨著巨大的計算成本和推理延遲挑戰 ， 這限制了它們的實際應用與部署 。
為此 ， 團隊提出了盤古Embedded ， 一個在昇騰（Ascend）NPU上開發的高效大語言模型推理器 。 其核心是一個具備“快思慢想”（fast and slow thinking）能力的雙系統框架 。 該框架通過一個用于常規請求的“快思考”模式和一個用于復雜推理的“慢思考”模式 ， 在延遲和推理深度之間實現了平衡 。
【昇騰生態再升級，華為宣布開源盤古7B稠密和72B混合專家模型】從效果上看 ， 70億參數的盤古Embedded在多個權威的復雜推理基準測試中（如AIME、 GPQA等） ， 其表現優于Qwen3-8B和GLM4-9B等規模相近的業界領先模型 。
華為在大模型領域進展加速 。 除了上述兩款模型 ， 今年5月底 ， 華為還推出了參數規模達7180億新模型——盤古Ultra MoE ， 全流程在昇騰AI計算平臺上訓練 。 華為同時發布盤古Ultra MoE模型架構和訓練方法的技術報告 ， 披露眾多技術細節 。
在6月20日舉辦的華為開發者大會2025上 ， 華為云正式發布盤古大模型5.5 ， 自然語言處理（NLP）、計算機視覺（CV）、多模態、預測、科學計算五大基礎模型全面升級 。
新京報貝殼財經記者 韋博雅
編輯 楊娟娟
校對 劉軍

    推薦閱讀