1. 首頁 > 生活百科 > >

浪潮信息劉軍：速度就是金錢，AI超節點價值核心是Token交互速度

人工智能ai劉軍tok浪潮信息

浪潮信息劉軍：速度就是金錢，AI超節點價值核心是Token交互速度

文章圖片

浪潮信息劉軍：速度就是金錢，AI超節點價值核心是Token交互速度

文章圖片

浪潮信息劉軍：速度就是金錢，AI超節點價值核心是Token交互速度

文章圖片

浪潮信息劉軍：速度就是金錢，AI超節點價值核心是Token交互速度
“在AI超節點系統的設計上 ， 不應該再依照慣性思維 ， 過分追求規模 ， 而是應該從客戶視角出發 ， 把token交互速度作為關鍵衡量指標 ， 這是智能體時代AI超節點的核心商業價值 。 ”這是浪潮信息首席AI戰略官劉軍近期接受采訪時 ， 反復強調的一點 。

浪潮信息首席AI戰略官劉軍
智能體時代 ， 速度就是金錢
規模擴展定律（Scaling Law）一直是驅動大模型智能持續增長的底層邏輯 ， 推動著模型參數量從百億、千億邁向現在的萬億 。 在后訓練階段更多的算力投入 ， 能顯著提升模型的推理能力 ， 而以推理能力為代表的復雜思維的涌現 ， 是構建智能體應用的基礎 。 另一方面 ， 以DeepSeek為代表的開源大模型極大的降低了創新門檻 ， 加速了智能體產業化的到來 。

Scaling Law驅動智能持續進化
劉軍指出 ， “智能體產業化的核心三要素是能力、速度和成本 。 其中 ， token交互速度決定了智能體的商業價值 。 在當下最常見的人機對話場景中 ， 基本上按照大概50毫秒的水平 ， 就是每秒輸出20個token ， 人的閱讀速度就能跟得上 。 但很多人還沒意識到 ， 未來的智能體時代會更多的出現機器與機器之間的交互場景 ， 對于智能體之間的交互而言 ， 這個速度遠遠不夠 ， 比如說直播電商、量化交易、欺詐防控等特定業務場景中 ， 對token生成速度的最低要求都是10毫秒以下 。 ”
以高強度、實時互動的直播電商場景為例 。 2024年底 ， 某知名直播電商平臺進行了專家組合智能體的A/B實驗 ， 實驗組部署了經過深度優化的智能體 ， 對照組則使用未經優化的標準版本智能體 ， 優化后的智能體平均響應延遲相較于對照組降低了38% 。 實驗結果表明 ， 部署了低延遲智能體的直播間 ， 其商品交易總額（GMV）平均提升了11.4% ， 同時用戶的復購率也取得了7.8%的顯著增長 。
38%的延遲降低 ， 并非提升了智能體回答內容的質量 ， 而是確保了這些回答能夠被精準地投遞在用戶購買意圖最為強烈的“黃金窗口”期內 。 在直播電商這類場景中 ， 用戶的購買意圖是瞬時且易逝的 。 一個高延遲的回答意味著當智能體還在“思考”時 ， 用戶的注意力可能已經轉移 ， 或者主播已經開始介紹下一件商品 ， 從而錯失了最佳的銷售轉化窗口 。
“在智能體時代 ， 快 ， 不再是可選項 ， 而是商業成功的剛性約束 。 ”劉軍強調 ， “只有當智能體的響應快于業務決策的窗口期 ， 快于用戶耐心消逝的臨界點……AI才能真正成為核心生產力 。 ”
token交互速度正在重塑AI算力價值評估體系
事實上 ， 對于token交互速度的考量正在重構AI算力系統的價值評估體系 。 最近廣受關注的InferenceMax? 開源AI基準測試 ， 正在創造一種動態追蹤模型更迭的算力評估體系 ， 試圖在真實AI推理環境下衡量各類AI算力系統的綜合效率 。 在這一基準測試中 ， token生成速度被列為最重要的一項衡量指標 。

【浪潮信息劉軍：速度就是金錢，AI超節點價值核心是Token交互速度】SemiAnalysis InferenceMAX? 開源AI基準測試
橫軸：交互速度（Interactivity ， 單位：tok/s/user）；縱軸：單位GPU token吞吐量（Token Throughput per GPU ， 單位：tok/s/gpu）
同時 ， 清華大學與中國軟件評測中心（CSTC）對20余家主流大模型服務提供商的綜合表現進行了全面評估 ， 聯合發布了大模型服務性能排行榜 ， 明確指出延遲指標是用戶體驗的核心 ， 直接決定用戶留存 ， 是平臺差異化競爭的首要技術門檻 。 因此 ， 速度同樣也成為了大模型API服務提供商的核心競爭力 。 當前 ， 全球主要大模型API服務商的token生成速度 ， 基本維持在10~20 毫秒左右 ， 而國內的生成速度普遍高于30毫秒 。

全球大模型API服務商DeepSeek Token生成速度
元腦SD200將token生成速度帶入“10毫秒時代”
要實現更低延遲的token生成能力 ， 必然要求底層算力基礎設施在系統架構、互聯協議、軟件框架等關鍵點上進行協同創新 。
浪潮信息對元腦SD200超節點AI服務器進行了大量的軟硬件協同創新與優化 ， 實現DeepSeek R1大模型單token生成速度低至8.9毫秒 ， 帶動國內AI服務器token生成速度率先進入“10毫秒時代” 。

元腦SD200超節點AI服務器
對于為何能在token生成速度上實現如此出色的性能 ， 劉軍表示 ， 智能體中各個模型之間的交互 ， 很多時候通信數據包并不是很大 ， 超高的帶寬會出現浪費 ， “就像是從a地到b地修了16車道的高速公路 ， 但是車輛在16車道上只跑了很短的距離 ， 反而在上高速和下高速這兩個節點花了很長時間 。 浪潮信息的優化重點 ， 就是解決車輛上高速和下高速的卡點問題 ， 讓車輛直通上來 ， 直通下去 。 ”
元腦SD200采用了獨創的多主機3D Mesh系統架構 ， 實現單機64路本土AI芯片高密度算力擴展 ， 原生支持開放加速模組OAM ， 兼容多元AI芯片 。 同時 ， 元腦SD200通過遠端GPU虛擬映射技術創新 ， 突破跨主機域統一編址難題 ， 實現顯存統一地址空間擴增8倍 ， 單機可以提供最大4TB顯存和64TB內存 ， 為萬億參數、超長序列大模型提供充足鍵值緩存空間 。 基于創新的系統架構設計 ， 元腦SD200單機即可承載4萬億單體模型 ， 或者同時部署由多個萬億參數模型構成的智能體 ， 多模協作執行復雜任務 。

元腦SD200創新多主機3D Mesh系統架構
互連協議的設計是元腦SD200實現極低通信延遲的關鍵 ， 浪潮信息做了大量的通信優化和技術創新 ， 如采用極致精簡的3層協議棧 ， 并原生支持 Load/Store等“內存語義” ， 讓GPU可直接訪問遠端節點的顯存或主存 ， 將基礎通信延遲縮短至百納秒級；另外Open Fabric原生支持由硬件邏輯實現的鏈路層重傳 ， 重傳延遲低至微秒級 ， 特別是分布式、預防式的流控機制 ， 實現全局任務均在發送前確保接收端有能力接收 ， 從根本上避免了擁塞和丟包 。

元腦SD200極低Latency通信
除了硬件方面的創新 ， 浪潮信息也針對DeepSeek、Kimi等模型的計算特征和元腦SD200的硬件架構特征 ， 完成了通信庫、計算框架、PD分離策略等多方面的優化 ， 大幅提升了DeepSeek、Kimi等大模型的推理輸出速度 。 通信庫層面 ， 針對Allreduce、Allgather、Alltoall等典型通信算子 ， 浪潮信息制定了與元腦SD200深度適配的通信算法；框架層面 ， 浪潮信息完成了并行方式、算子融合、多流水線等多方面優化 ， 來保證計算的低延遲；在推理階段 ， 浪潮信息開發了預填充-解碼 (Prefill-Decode) 分離軟件 ， 針對預填充與解碼不同的計算特性 ， 使用不同的并行計算策略、硬件配置等 ， 提高系統整體的計算性能 。
實測數據顯示 ， 元腦SD200搭載64張本土AI芯片運行DeepSeek R1大模型 ， 當輸入長度為4096、輸出長度為1024時 ， 單用戶token生成達到112 tokens/s ， 每token生成時間僅為8.9ms ， 率先實現國內AI服務器token生成速度低于10ms ， 將推動萬億參數大模型在金融、科研、智能制造等領域快速落地 。
未來十年AI經濟的增長邊界 ， 從某種意義而言 ， 將取決于整個行業在算法、軟件和硬件層面協同攻克延遲挑戰的能力 。 “速度就是金錢”不僅是一種新的商業主張 ， 更是驅動下一代人工智能增長的核心經濟邏輯 。 浪潮信息將面向智能體產業化需求 ， 持續以架構創新激發產業創新活力 ， 讓AI成為百行千業的生產力和創新力 。

    推薦閱讀