文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
大模型需要什么？
在硅谷舉行的科技盛會Hot Chips 2025首日的主題演講上 ， 谷歌DeepMind的Noam Shazeer回答了這一問題 ， 發表了題為《下一階段AI的預測》的主題演講 。
除了是Transformer論文《Attention Is All You Need》的作者之一 ， 他還推動了許多技術創新 ， 例如顯著提升谷歌搜索中的拼寫校正功能 。
早在2017年 ， 他就發明了Transformer模型 ， 至今已深耕LLM領域十年 。
后來 ， 他開發了一款聊天機器人 ， 但谷歌拒絕發布這項成果 ， 這也促使他選擇離職 ， 創辦了Character.AI 。
不久之后 ， 谷歌意識到自身短板 ， 最終以27億美元的高價與Character.AI達成合作 。
如今 ， Noam已回歸谷歌 ， 擔任Gemini項目的聯合負責人 。
正如他所展示的 ， 大語言模型可以借助硬件等各方面資源的提升 ， 不斷改善性能與準確性 。
AI下一階段
算力 ， 算力 ， 還是算力
Noam Shazeer主要分享了LLM的需求、個人的LLM研究之路以及硬件與LLM的關系 。
他強調幾點關鍵內容 。
首先 ， Noam認為語言建模是當前最重要的研究領域 。
他在演講中用一張幻燈片專門闡釋了這一點 ， 可見他對該話題熱情之高 。
然后他談到了「LLM到底需要什么」(What LLMs want) 。
他更關注的是：更多的FLOPS意味著更好的性能 。
這非常重要 ， 因為隨著參數的增加、深度的增加、非線性以及信息流的增加 ， LLM的規模也隨之增加 。
這可能需要更多的計算資源 。 更多的優質訓練數據也有助于創建更好的LLM 。
他還談到了2015年時 ， 在32個GPU上訓練是一件大事；但十年后 ， 可能需要數十萬個GPU 。
另一個有趣的小細節是 ， 他說在2018年 ， 谷歌為AI構建了計算節點 。
這是一件大事 ， 因為在此之前 ， 谷歌工程師通常在一千個CPU上運行工作負載 。 但隨后它們會變慢 ， 另作他用 ， 比如爬取網絡 。
擁有專門用于深度學習/ AI工作負載的大型機器 ， 使得性能有了巨大的提升 。
接著是芯片會議上的一大亮點 ， 即LLM對硬件的需求 。
從這張幻燈片中 ， 可以看到一個有趣的觀點
更多的計算能力、內存容量、內存帶寬和更多的網絡帶寬 ， 對于推動未來AI模型的進步都至關重要 。
在「所有層級」上 ， 這不僅僅是DDR5的容量和帶寬 ， 還包括HBM和芯片上的SRAM 。
降低精度以幫助更好地利用這四個方面 ， 在很多情況下也被視為好事 。
確定性有助于更好地編程 。
演講的信息歸結為：在集群中擁有更大、更快的設備將導致LLM的增益 。
這對谷歌和其他一些公司來說可能是個好消息 。
大模型要什么硬件？
Noam是典型的「反向跨界者」：作為AI研究者 ， 他對硬件充滿好奇 ， 總想知道這些機器如何運作 。
在Mesh-TensorFlow項目中 ， 他對TPU的底層網絡結構產生了極大興趣 。
論文鏈接：https://arxiv.org/abs/1811.02084
他提出了很多讓人耳目一新的問題：
你們的芯片居然是環形網絡結構？
那數據包在里面怎么跑？
怎么映射到神經網絡的張量計算里？
這種好奇心最終促成了谷歌在軟硬件協同設計上的諸多突破 。
在這次演講中 ， Noam Shazeer深入剖析了LLM到底需要什么硬件 。
AI需要的硬件支持：不止GPU
毫無疑問 ， 算力是LLM最需要的因素 。
當大家說「LLM想要什么」時 ， 實際上也是在問：
為了讓AI更聰明 ， 我們的硬件系統需要如何變化？
Noam的答案清晰直接：越多越好 ， 越大越好 。
1. 更多算力（More FLOPs）
算力越多越好 ， 最好是數以千萬億次的浮點運算能力（petaflops） 。 它直接決定你能訓練多大的模型 ， 用多大的batch ， 覆蓋多少訓練數據 。
2. 更大內存容量&更高內存帶寬
Noam指出 ， 內存帶寬如果不足 ， 會限制模型結構的靈活性 ， 比如不能輕易加非線性層 。 而更高的帶寬=更細粒度的控制 。
內存包括：片上存儲（on-chip SRAM）、高帶寬內存（HBM）、顯存或DRAM等其他中高速緩存
內存容量方面 ， 直接決定了：
能塞下多大的模型；
在推理時 ， 能保留多少中間狀態（比如長上下文、緩存、注意力頭等） 。
3. 網絡帶寬（Network Bandwidth）
這個是很多人忽視但至關重要的一項 。
因為無論是訓練還是推理 ， LLM幾乎一定會：模型被分到多個芯片 ， 數據在它們之間來回傳遞 。
舉個例子 ， 大家現在都在追求「長思維鏈」（long chain of thought） ， 也就是說模型要花更長的時間「思考」才能得出更強的答案 。
可這也意味著每一步推理要更快完成 ， 否則響應就變慢了 。
這時候 ， 瓶頸往往就在于你是否能迅速訪問完所有模型參數——
不只是芯片上的那一份 ， 而是分布在一整塊計算網格中的所有部分 。
因此 ， Noam總結說：
想推理得快 ， 核心問題就是——你這一群芯片 ，總共能提供多少內存帶寬？
AI加速發展 ， 人類路在何方？
他補充了一些其他對硬件設計的「愿望清單」 。
1. 低精度（Low Precision）
在傳統科學計算中 ， 精度至關重要 。
但在LLM中 ， 模型本身就具有一定「模糊性」 ， 低位數往往影響不大 。
因此 ， 低精度換算力完全合理 ， 能用8-bit、甚至4-bit來換更多FLOPs ， 值得如此做 。
行業確實在嘗試越來越低的精度格式（FP8、INT4、二進制等）——只要能保持收斂 ， 越低越好 。
當然 ， 不能犧牲可重復性 。
核心挑戰是「訓練時精度夠用」「推理時誤差夠小」 。
2. 可復現性（Determinism）
Noam認為這是關鍵 ， 因為機器學習實驗的失敗率本就很高 。
很多時候你都不知道 ， 某個結果失敗 ， 是因為模型結構不對 ， 數據有問題 ， 還是你代碼里有bug 。
如果每次訓練都跑出不同結果 ， 那連「調試」都無從下手 。
他回憶早期在Google Brain做異步訓練的時候 ， 經常出現「這次跑通了 ， 下次又崩了」的情況 ， 工程體驗極差 。
所以 ， 他給硬件設計者的建議是：
除非你能給我10倍性能 ， 否則請不要犧牲可重復性 。
3. 運算溢出與精度損失問題
有現場觀眾提問：低精度運算經常會溢出或出現不穩定 ， 怎么處理？
Noam回答：
確保accumulator（累加器）使用更高精度；
或者進行裁剪（clipping） ， 不要讓數值爆掉；
最差的方案是「數值回繞」（wrap around） 。
主持人Cliff補充了一句俏皮話：
我們要的是 ， 加載checkpoint后 ， 機器要按原樣崩掉 ——
這才算真正的可重復性 。
Waymo工程師提出的一個刁鉆問題：如果今天起硬件就不再進步 ， 我們還能搞出通用人工智能（AGI）嗎？
Noam給出意外但堅定的回答：可以 。
【27億美元天價回歸！谷歌最貴叛徒、Transformer作者揭秘AGI下一步】他指出 ， AI會加速自身發展 ， 推動軟件、系統設計持續進化 ， 即使硬件原地不動 ， 我們也能靠軟件層面的革新繼續進步 。
當然——他話鋒一轉：不過如果你能繼續搞出更好的硬件 ， 自然更好 。
如果AGI真的到來 ， 人類又該何去何從？
AI是拯救還是終結人類？
在算力和數據的驅動下 ， AI不斷向更復雜的領域進發 。
「只要投喂足夠的數據和算力 ， 就有可能學習并揭示宇宙的內在結構 。 」
在最近的訪談中 ， 微軟AI的CEO Mustafa Suleyman如此說 。
他指出 ， 當前的LLM（大語言模型）還只是「單步預測引擎」 ， 尚處于AI發展的早期階段 。
但隨著持久記憶和長期預測能力的加入 ， LLM將有望發展為具備完整規劃能力的「行動型AI」：
不僅能像人類一樣制定復雜計劃 ， 還能持續執行任務 。
這一飛躍可能在2026年底前實現 。
Suleyman用「breathtaking」（驚艷）來形容這一未來 ， 并強調 ， 我們還只是剛剛起步 ， 一切都將很快發生深刻變化 。
25歲豪賭未來AI ， 如今預測AI失業潮
時間回到2010年 ， 智能手機才剛剛普及、應用商店尚在萌芽 ， AI更像是科幻小說的陳詞濫調 ， 而非嚴肅的科學課題 ， 即使是頂尖學者也對此不屑一顧 。
當時年僅25歲的Mustafa Suleyman與兩位「勇敢而有遠見的」聯合創始人Demis Hassabis和Shane Legg ， 卻篤信一個革命性的理念：
如果能創造出真正理解人類的智能 ， 那將是改善人類狀況的最佳機會 。
Suleyman尖銳地指出 ， 歷史上充滿了帶來「凈傷害」的發明 。
因此 ， 在AI這項「有史以來最強大的通用技術」面前 ， 從價值觀出發 ， 將人類福祉置于首位 ， 不是一句空洞的口號 ， 而是一個必須時刻堅守的起點 。
但Suleyman直言 ， 在未來20年內 ， 將面臨大規模的失業潮 。
今天許多白領從事的「認知上的體力勞動」 ， 如數據錄入、郵件處理等 ， 將被AI高效替代 。
他直言 ， 這些恐懼「非常真實」 ， 并強調政府必須強力介入 ， 通過稅收等再分配機制來緩沖這一社會巨變 。
在此基礎上 ， 他提出了自己著作《即將到來的浪潮》中的核心概念——「遏制困境」（The Containment Problem） 。
他指出 ， 技術的趨勢是讓權力被小型化、集中化 ， 并以極低的成本普及給每個人 。
當AI成為一個可以代表你打電話、寫代碼、執行計劃的智能體時 ， 每個人執行自己想法的成本和時間都將趨近于零 。
這將帶來巨大的創造力爆發 ， 但同時也埋下了沖突的種子 。
「如果我能點擊一個按鈕執行我瘋狂的想法 ， 你也能 ， 那將引起大量的沖突 。 」
「摩擦對于維持和平與穩定很重要 ， 」Suleyman一針見血地指出 。 當執行一件事情的阻力（摩擦）消失時 ， 混亂就可能接踵而至 。
如何「遏制」這種以零邊際成本擴散的力量 ， 是我們時代最嚴峻的考驗 。
何時應該「拔掉電源」
在所有對AI的擔憂中 ， 最令人恐懼的莫過于「失控」 。
對此 ， Suleyman明確劃出了四條不可逾越的紅線 。
一旦一個AI同時具備以下能力 ， 它將成為一個需要「軍事級別干預」才能阻止的系統：
- 遞歸式自我改進（能修改自己的核心代碼）
- 自主設定目標
- 獲取自身資源
- 在世界上自主行動
答案是肯定的 ， 因為AI存在于物理的數據中心里 。
但真正的挑戰在于 ， 我們如何識別那個時刻的到來 ， 以及如何集體做出關停的決定 。
重新定義「你的飯碗」
對于AI引發的失業恐慌 ， Suleyman提供了一個更為烏托邦的視角 。
他引用瑞典的理念——「我們不關心工作崗位 ， 我們關心工人」 ， 并將其推向極致 。
他認為 ， 社會的任務不應是為人們創造「飯碗」 ， 而是創造一個和平、支持性的環境 ， 讓人們找到自己的激情 ， 過上充實的生活 。
「我夢想一個人們可以自己選擇做什么并擁有真正自由的世界 。 」
他相信 ， 如果技術應用得當 ， 產生的巨大價值足以讓社會資助人們去追求這些真正有意義的事情 。
這將釋放巨大的創造力 ， 但也會帶來深刻的存在主義問題：「我是誰？我為什么在這里？」
參考資料：
https://youtu.be/v0beJQZQIGA
https://youtu.be/tQ5wO1lznCQ
https://www.servethehome.com/thank-you-for-the-supercomputers-google-predictions-for-the-next-phase-of-ai-at-hot-chips-2025/
推薦閱讀
- 英特爾將會為NVIDIA打造X86 CPU：不用自家工藝，進軍百億美元市場
- 又來一單？甲骨文、Meta商談200億美元云計算協議
- 英偉達斥資超9億美元，吸納了Enfabrica的人才和技術
- NVIDIA宣布投給英特爾50億美元：雙英聯合開發PC芯片
- 英偉達50億美元下賭注，給CPU和GPU「修高速」
- 微軟簽署62億美元挪威AI基建協議
- 人形機器人公司Figure AI融資10億美元，加速AI數據收集與生產
- 華為Mate80系列定檔11月：星環回歸+麒麟9030，直屏版本終于香了
- 390億美元，全球具身智能第一估值來了，英偉達持續加注中
- Nothing完成2億美元C輪融資，估值達13億美元｜最前線