1. 首頁 > 生活百科 > >

谷歌推出開源全棧NPU新架構，旨在實現大模型在終端的低功耗運行

aiGooglenpucoral

谷歌推出開源全棧NPU新架構，旨在實現大模型在終端的低功耗運行

文章圖片


谷歌（Google）正式宣布推出 Coral NPU ， 一個面向邊緣人工智能（Edge AI）的開源全棧平臺 。 這一平臺旨在解決當前邊緣 AI 設備面臨的核心挑戰 ， 使大型、現代的人工智能模型（LLMs）直接嵌入到智能手表、耳機和各類傳感器等對功耗極度敏感的微型設備中 ， 并首次實現在智能手表、耳機或傳感器等小型設備上實現全天候運行 。


（來源：Github Coralnpu）

近年來 ， 云端大模型的強大創造力、推理和輔助能力已經從根本上重塑了我們對技術的期望 。 谷歌認為 ， 下一個重大的技術飛躍 ， 不在于讓模型更大 ， 而在于讓智能更貼近我們 。

要讓 AI 成為真正的貼身助手 ， 主動幫我們規劃日程、實時翻譯對話、或理解我們的物理環境 ， 它就必須在我們佩戴和攜帶的設備上運行 。 這就導向了當前行業的核心挑戰：如何將“環境 AI”（ambient AI）植入電池容量極其有限的邊緣設備 ， 使其在實現全天候輔助的同時 ， 確保用戶數據的絕對隱私 。

Coral NPU 的目標就是實現極致的能源效率 ， 讓 AI 模型在僅消耗幾毫瓦功率的情況下運行 ， 從而擺脫對云端連接的依賴 ， 并從根本上增強設備的隱私保護能力 。

谷歌指出 ， 要將 AI 從云端遷移到個人設備 ， 首先要解決三個根深蒂固的難題：一是性能鴻溝 ， 即現代模型所需的龐大算力與微型設備有限資源之間的矛盾；二是碎片化的成本 ， 即面對硬件與軟件工具鏈的嚴重碎片化 ， 開發者需要為一個充斥著各種專有處理器的、高度碎片化的市場編譯和優化 ML 模型 ， 而這一過程極其困難且成本高昂；三是用戶信任 ， 面對數據傳輸至云端處理帶來的隱私泄露風險 ， 個人 AI 必須將個人數據的隱私與安全置于首位 。

傳統上 ， 低功耗邊緣設備的開發者面臨一個根本性的權衡：要么選擇通用 CPU ， 它們靈活且軟件支持廣泛 ， 但缺乏針對 ML 工作負載的專用架構 ， 導致性能低下且能效比差；要么選擇專用加速器 ， 它們 ML 效率高 ， 但“不靈活、難以編程 ， 且不適合通用任務” 。

其次 ， 這種硬件困境被一個高度碎片化的軟件生態系統放大了 。 CPU 和 ML 模塊的編程模型截然不同 ， 開發者常常被迫使用專有編譯器和復雜的指令緩沖 。 這造成了陡峭的學習曲線 ， 使行業長期缺乏一個成熟的、能有效支持多種 ML 開發框架的低功耗架構 。

傳統的芯片設計思路是圍繞通用 CPU 構建 ， 再“外掛”一個 AI 加速器 。 這種架構在處理“常駐”的、持續性的 AI 任務時效率低下 。 Coral NPU 的出現則開辟了一條新的思路 。 它不再以 CPU 為中心 ， 而是將負責運行神經網絡核心數學運算的“矩陣引擎”置于芯片設計的核心位置 。 這一神經處理單元（NPU）架構 ， 結合了一個小型的 RISC-V 控制核心 和一個 RVV 1.0 向量單元 ， 未來還將推出量化外乘矩陣單元 。
【谷歌推出開源全棧NPU新架構，旨在實現大模型在終端的低功耗運行】
這種以“AI 優先”（AI-first）為先的架構 ， Coral NPU 旨在實現極高的能效比 。 其目標性能是每秒執行約 5120 億次操作（512GOPS） ， 而功耗則控制在毫瓦級別 。 這種性能與功耗的平衡 ， 對于需要 24/7 全天候運行 AI 功能且電池容量極其有限的小型 AI 設備而言 ， 堪稱一次飛躍 。


（來源：Google for Developers）

同時 ， Coral NPU 還是一個“全棧”平臺 。 為了解決工具鏈碎片化的問題 ， 谷歌為其配備了一個統一的編譯器堆棧 。 該堆棧基于 MLIR、IREE 和 TensorFlow Lite Micro 等開源技術 。 其核心優勢在于 ， 開發者只需編寫一次模型代碼 ， 就能在任何基于 Coral NPU 架構的芯片上運行 ， 真正實現模型的跨硬件無縫遷移 。 這極大地降低了開發門檻 ， 使開發者無需再為每一個品牌的硬件重寫和優化代碼 。

在解決“信任赤字”方面 ， Coral NPU 的一個核心原則是通過“硬件強制安全”（hardware-enforced security）來建立用戶信任 。 其架構正在被設計為支持像 CHERI 這樣的新興技術 ， 該技術能提供細粒度的內存級安全和可擴展的軟件分區 。 谷歌希望通過這種方法 ， 將敏感的 AI 模型和個人數據隔離在一個“硬件強制的沙箱”中 ， 以有效抵御基于內存的攻擊 。

谷歌將 Coral NPU 視為邊緣 AI 的新開放標準 ， 而這一愿景已開始落地 。 據悉 ， 芯片設計公司 Synaptics 已經開始采用這種新設計來構建其下一代芯片 ， 證明了該平臺不僅僅停留在理論階段 。 Coral NPU 的開源和全棧特性 ， 有望催生下一代真正智能且持久續航的邊緣設備 ， 從根本上改變用戶與可穿戴設備和傳感器的交互方式 。

參考資料：
1.https://developers.googleblog.com/en/introducing-coral-npu-a-full-stack-platform-for-edge-ai/
2.https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
3.https://github.com/google-coral/coralnpu

運營/排版：何晨龍

    推薦閱讀