創智突破：AI首次自主發現106個超越人類設計的神經網絡架構_數學|Alphago|人工智能

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

科學發現還是人類專利嗎？
當世界還在為 AI 在數學競賽中達到金牌水平而驚嘆時，一項更加深遠的突破正在悄然發生。與解決 IMO 題目這種封閉性問題不同，真正的科學發現是一個開放性的、長期的認知過程 —— 需要提出原創問題、設計實驗方案、觀察現象規律、形成科學假設，然后在不斷的試錯和迭代中逼近真理。
這個過程的復雜度遠超任何標準化測試，它要求的不是計算能力，而是真正的科學創新思維。
由創智學院領銜的研究團隊今日發布的 AI 超智能系統首次證明， AI 已經具備了進行完整科學發現的能力 —— 該系統在完全自主的條件下發現了 106 個超越人類設計的神經網絡架構（在多個基準測試中超越了如 Mamba2 和 Gated DeltaNet 等強大的基線模型），更恐怖的是，它初步驗證了科學突破可以像訓練模型一樣進行工業化量產。標志著我們正式跨入了長期自主超智能（Long-Horizon Superintelligence）的新紀元，科學發現進入 Scaling Law 時代！

從數學金牌到科學發現：
認知復雜度的代際躍遷
近期 AI 領域最引人注目的成就之一是在數學競賽中的突破表現。 Google 等研究團隊展示了 AI 系統在國際數學奧林匹克（IMO）等競賽中達到金牌選手水平的能力，這無疑是 AI 推理能力的重要里程碑。然而，解決數學競賽題目與進行科學發現，在認知復雜度上存在著本質差異。
數學競賽雖然具有極高的技術難度，但本質上仍屬于封閉性問題求解：題目邊界明確，評判標準客觀，解題路徑雖然復雜但相對確定。 AI 系統主要需要在有限的問題空間內進行深度推理和計算。而科學發現則完全不同。它是一個開放性的、長期的認知過程，包含了人類智慧的最高形式。長期以來，科學發現一直被認為是人類獨有的認知能力，依賴于研究者的創造性思維和直覺洞察。特別是在人工智能領域，神經網絡架構的設計更是被視為需要深厚專業知識和創新思維的高級智力活動。
由上海創智學院領銜的團隊發布 AI 超智能系統：ASI-Arch ，其成功設計徹底顛覆了這一認知。該系統基于先進的大模型技術，構建了高度自主的多智能體研究框架，能夠完全獨立地進行從問題識別、假設生成、實驗設計到結果驗證的完整科學研究流程。

論文標題: AlphaGo Moment for Model Architecture Discovery
系統開源: https://github.com/GAIR-NLP/ASI-Arch
網站地址: https://gair-nlp.github.io/ASI-Arch/

在長達數月的自主研究過程中， ASI-Arch 系統展現出了令人震撼的研究能力。系統共進行了 1773 次獨立實驗，累計消耗超過 20000 GPU 小時的計算資源，在無人干預的情況下， ASI-ARCH 自主發現了 106 個新穎且性能卓越的線性注意力架構，這些架構在多個基準測試中超越了如 Mamba2 和 Gated DeltaNet 等強大的基線模型。這一研究規模和效率遠超傳統人類研究團隊的能力范圍。

圖：AI 自主進行了 1773 次科研探索
更為重要的是研究質量。系統并非進行盲目的隨機搜索，而是表現出了與頂級科學家相似的研究直覺和邏輯推理能力。每一次實驗都基于前期結果進行智能化迭代，展現出了真正的科學思維過程。這一突破意味著科學研究正在從傳統的「人力驅動」模式轉向「算力驅動」模式，為加速科學發現開辟了全新路徑。
突破性成果：
106 個超越人類的創新架構
ASI-ARCH 系統成功發現了 106 個全新的線性注意力機制架構，每一個在性能指標上都顯著超越了現有的人類設計方案。這些發現的重要性不僅在于性能提升，更在于設計理念的創新。系統提出的許多架構設計原理和優化策略，即使是該領域的頂級專家也承認此前從未考慮過。這表明 AI 系統已經具備了超越人類認知邊界的創新能力。
正如圍棋界的「Move 37 時刻」展現了 AI 的超人類策略智能， ASI-ARCH 的發現同樣證明了 AI 在科學創新領域的超人類潛力。

為什么說這是 AI 架構設計的「AlphaGo 時刻」？
傳統的神經架構搜索（NAS）技術，本質上仍是在人類預先劃定的巨大空間內進行組合與挑選，扮演著「高級優化器」的角色，其創造力受到了根本性限制。
ASI-ARCH 則實現了質的飛躍。它代表了一次從「自動化優化」到「自動化創新」的范式轉變。借助大模型強大的認知和編碼能力， ASI-ARCH 不再局限于已有的模塊，而是能夠像人類科學家一樣：
提出全新的假說：自主構想出前所未有的架構概念。
實現并驗證：將這些新想法編寫成代碼，并通過嚴謹的實驗來驗證其有效性。
超越人類范式：發現那些超越現有設計范式和人類直覺的新架構。
這種從「工具」到「研究伙伴」甚至「獨立研究員」的角色轉變，正是其被稱為 AI 架構設計領域「AlphaGo 時刻」的根本原因。它標志著 AI 已經開始涉足以往只有人類才能勝任的、更富創造性的科學發現過程。
「科學發現縮放定律」的確立 (Scaling Law for Scientific Discovery)
本研究最具革命性的貢獻是首次建立了「科學發現縮放定律」。研究數據明確顯示，科學發現的速度和質量與投入的計算資源呈現穩定的縮放關系。這一發現具有深遠的意義。傳統科學研究的進展速度受限于人類研究者的數量和能力，存在明顯的瓶頸。而「科學發現縮放定律」表明，通過增加計算資源投入，可以系統性地提升科學發現的效率和質量。這意味著科學研究正在經歷從「人力密集型」向「計算密集型」的根本性轉變，為解決人類面臨的重大科學挑戰提供了新的解決方案。

由部分探索的新架構繪制的種系發生樹
我們定義一種父子關系：新架構是通過直接修改前一個架構的代碼生成的。外圍的顏色用于區分樹的不同進化分支。
ASI-ARCH 超智能
是如何自主進行科學研究的？
ASI-ARCH 的核心是一個由「研究員」、「工程師」、「分析師」和「認知庫」四個模塊構成的閉環進化系統。
研究員 (Researcher): 作為系統的「大腦」，負責提出創新的架構設想，并生成新的架構代碼。它從歷史經驗和人類知識中汲取靈感，生成新的設計動機。
工程師 (Engineer): 作為「動手者」，負責接收「研究員」的架構代碼，并在真實的訓練環境中進行訓練和評估。
分析師 (Analyst): 扮演「反思者」的角色，它綜合分析實驗數據，總結成功與失敗的原因，并將這些洞察提煉成新的知識，反饋給「研究員」以指導下一輪創新。
認知庫 (Cognition Base): 如同一座「圖書館」，存儲了從近百篇人類頂尖論文中提取的核心知識，為 AI 提供人類專家的「認知」支持。
尤為關鍵的是，該框架引入了一個創新的 Fitness Function ，它不僅評估模型的性能指標（如損失和基準得分），還引入一個 LLM 「專家評審」，對設計的創新性、復雜性等進行定性評估。這種設計有效避免了系統為了刷分而產生無意義設計的「獎勵黑客」問題，確保了產出的架構既強大又優質。

圖：ASI-ARCH 架構
實驗結果解讀：AI 「研究員」全面超越人類頂尖模型
為了最終驗證 AI 「研究員」設計架構的真實能力，我們上演了一場 AI 與人類頂尖智慧的「巔峰對決」。研究團隊將 AI 自主發現的架構，與由人類專家精心設計、業界公認的強大基線模型（如 DeltaNet）、代表線性注意力最先進水平的 Gated DeltaNet ，進行了嚴格、公正的正面比較。
實驗采用了一種科學且高效的「探索 - 驗證」兩階段策略：
1. 探索階段（20M 參數量級）：在此階段， ASI-ARCH 在較小的模型規模上進行了大規模的「海選」，旨在快速篩選出具有潛力的候選架構。令人驚喜的是，即便是在這個資源受限的探索階段， AI 發現的大部分架構在核心指標上已經展現出超越人類 SOTA 模型的強大實力，為最終的成功奠定了堅實基礎。
2. 驗證階段（340M 參數量級）：從探索階段脫穎而出的高潛力架構，被放大到更大的模型規模進行「終極驗證」。在這一更接近真實應用場景的規模下， AI 架構的潛力被完全釋放，其卓越性能也得到了充分的印證。
實驗結果表明，我們將模型在覆蓋常識推理、閱讀理解等 12 個不同基準測試中的表現進行了綜合評估。 AI 自主發現的架構（以白色背景標識），在綜合平均得分上，全面超越了 Gated DeltaNet 等線性注意力基線，成功刷新了該領域的性能上限（SOTA）。

表：不同架構在語言模型和零樣本常識推理的性能比較
這張亮眼的成績單揭示了 ASI-ARCH 的幾項關鍵特質：
1. 綜合實力更強，拒絕偏科：最終的勝利并非依賴于在個別任務上的「偏才」，而是在衡量模型綜合智慧的平均分上全面領先。這意味著 AI 發現的架構在常識推理（如 PIQA、Hellaswag）、知識問答（如 ARC-Challenge、OpenBookQA）、閱讀理解（如 SQuAD）等多樣化的能力維度上都表現出了卓越且均衡的性能，是一種更魯棒、更通用的智慧體現。
2. 學習效率更高，基礎更扎實：在衡量模型學習效率和語言建模基礎能力的訓練損失（Loss）和困惑度（PPL）指標上， ASI-ARCH 發現的頂尖架構普遍取得了更低的值。這意味著 AI 架構的學習效率更高，能用同樣的數據學到更多知識，并且對語言規律的把握更精準。
3. 發現具備普遍性，而非偶然：這次勝利不是單個「天才模型」的偶然爆發，而是 106 個新 SOTA 架構的集體涌現。這充分說明， ASI-ARCH 的發現能力是系統性的、可復現的。它找到的不是一個點，而是一片富饒的、全新的「架構良田」。
總而言之，實驗結果清晰地表明，由 ASI-ARCH 自主發現的架構，在同等條件下，其性能不僅超過了作為起點的基線模型，更是全面超越了線性注意力領域內由人類專家設計的頂尖模型。更重要的是， AI 通過自主探索，發現了人類未曾設想的、通往「更優設計」的新路徑 —— 例如，它獨立演化出了多種巧妙的門控機制與路徑融合策略，這些設計在沒有人類先驗知識指導的情況下，實現了對計算資源更高效的動態分配，從而取得了更好的效果。這場在綜合性能指標上的完勝，正是我們稱之為「AI 架構探索的 AlphaGo 時刻」的最有力注腳。
AI 「研究員」的設計哲學：
涌現出怎樣的智慧？
通過對 1773 次自主實驗的深入分析，研究團隊把模型分成兩組：表現最好（SOTA）的 106 個模型和剩余的表現一般模型，發現了 AI 「研究員」在設計過程中涌現出的、類似人類科學家的設計模式與智慧：
（1）腳踏實地，聚焦經典：
ASI-ARCH 并沒有盲目地追求「新奇特」，而是展現出一種與人類頂尖科學家高度一致的工作方法論：在成熟、經過驗證的技術之上進行迭代創新。
對 AI 所探索的全部架構進行組件分析，可以發現 AI 明顯偏好使用「門控系統（Gating System）」、「卷積架構（Convolutional Architecture）」等經典且強大的組件。雖然 AI 也探索了「物理啟發機制（Physics-Inspired Mechanism）」等大量新穎的「長尾」組件，但一個關鍵的區別在于：表現最好的 106 個模型（模型畫廊， Model Gallery）的「長尾分布」遠沒有其他模型那么嚴重。這表明，頂尖的 AI 設計收斂于一個核心且高效的技術集合，通過對這些關鍵技術的精妙組合與改良來實現突破，而不是漫無目的地追逐新穎性本身。

（2）從經驗中學習，在分析中升華：
AI 創新的靈感從何而來？研究揭示了一個深刻的模式：要達到「優秀」， AI 可以依賴于學習人類的先驗知識（認知）；但要實現「卓越」和真正的突破，對自身實驗歷史的深度分析和抽象總結必不可少。
對設計靈感的來源進行追溯，可以發現，對于所有模型，其靈感主要來源于對人類論文知識的借鑒（「Cognition」占比 51.7%）。然而，對于頂尖的模型組，其設計靈感來源于對過往實驗的自我反思（「Experience」）的比例（44.8%）顯著高于其余模型（37.7%）。這證明了，雖然學習人類經驗是基礎，但通過自我探索、總結和發現來合成新穎解決方案的能力，才是 AI 產出顛覆性成果的關鍵。

（3）拒絕過分復雜的架構：
在架構搜索中，一個常見的誤區是通過不斷堆疊組件、增大參數量來換取性能提升。然而， ASI-ARCH 展現出一種內在的「設計紀律」，拒絕了這種通過暴力堆砌復雜度來提升性能的簡單策略。
盡管在實驗初期 AI 會探索不同大小的模型，但在整個演化過程中， AI 設計的模型參數量分布始終保持穩定，并沒有出現持續增長的趨勢。絕大多數模型都穩定在特定的參數范圍內。這表明， ASI-ARCH 是在一個相對公平的「復雜度預算」下進行真正的「巧思」，尋求更高效、更聰明的架構設計，而不是依賴于「堆料」。

開源貢獻：
推動全球 AI 研究民主化
ASI-ARCH 的成功標志著「AI for AI research」（ASI4AI）新時代的正式開啟。這一概念描述了 AI 系統能夠自主進行科學研究、設計和優化下一代 AI 系統的發展階段。在這個新時代中， AI 不再僅僅是研究工具，而是成為了真正的研究主體。 AI 系統設計更強大的 AI 系統，形成自我改進的正向循環，這將極大地加速整個 AI 領域的發展進程。為促進全球 AI 研究的協同發展，研究團隊做出了具有戰略意義的決定：將全部 106 個突破性架構、完整的 ASI-ARCH 系統框架以及詳細的研究過程數據向全球研究社區開源。這一開源舉措將產生廣泛而深遠的影響。全球研究者將能夠直接受益于這些 AI 自主發現的成果，并在此基礎上進行進一步的創新研究。同時，開源的 ASI-ARCH 框架將為構建更多自主 AI 研究系統提供重要參考。

圖：AI 發現新架構的細致描述（https://gair-nlp.github.io/ASI-Arch/）
重新定義
科學研究的未來
ASI-ARCH 不僅是技術突破，更是認知革命。它證明了機器可以進行真正的科學思維，而不僅僅是數據處理或模式匹配。這為解決人類面臨的重大挑戰開辟了全新可能性。從氣候變化到疾病治療，從新材料開發到基礎物理理論，長期自主智能系統都有望在這些領域產生突破性發現。
隨著科學發現進入 Scaling Law 時代，我們正站在人類文明史上一個前所未有的轉折點。 ASI-ARCH 作為長期自主智能的先驅，其歷史意義將隨著時間推移而愈發凸顯。
【創智突破：AI首次自主發現106個超越人類設計的神經網絡架構】我們不僅見證了 AI 從工具向伙伴的轉變，更見證了科學研究從人類獨有活動向人機協同探索的歷史性跨越。這是認知能力的代際革命，也是人類文明加速發展的新起點。