大模型「躲在洞穴里」觀察世界?強化學習大佬吹哨提醒LLM致命缺點gb

文章圖片

文章圖片

文章圖片

文章圖片

機器之心報道
編輯：張倩、澤南

為什么語言模型很成功，視頻模型還是那么弱？

「我一直很困惑，語言模型怎么能從下一個 token 預測中學到這么多，而視頻模型從下一幀預測中學到的卻那么少？難道是因為大模型（LLM）其實是偽裝的大腦掃描儀？」
近日，加州大學伯克利分校副教授、強化學習大牛 Sergey Levine 發出了一記靈魂拷問。

AI 技術在快速發展，人們對于 AI 能力的上限，以及人腦和電腦異同的思考也越來越深入。上周末， OpenAI 聯合創始人 Ilya Sutskever 在演講中就曾提到：既然大腦是臺生物計算機，那么數字計算機應該也能做所有同樣的事。
然而在學術界，也有很多人持不同態度， Sergey Levine 就是一位這樣的學者。

他在昨日發布的一篇博客中表示，當前的大語言模型（LLM）只是對人類大腦和思維的間接「掃描」。這些模型如同被困在洞穴之中，只能看到人類智慧的「投影」，并試圖通過這些「投影」來逆向推導出產生它們的思維過程。這種「逆向工程」并不能代替真正的思維。

他的觀點在機器學習社區獲得了不少認同。

由此進一步思索，我們目前探索 AGI 的方向，是否也到了需要調整的階段了？

Sergey Levine 認為，目前人工智能尋求回憶、解決數學問題的努力方向，與人類從經驗中學習的方式并不一樣，而這個基礎論點的錯誤，早在 Transformer 出現以前就存在了。

以下是博客原文。
柏拉圖洞穴中的語言模型
從誕生之初，人工智能研究就與理解人類智能的目標緊密相關。 AI 研究者們相信，人類的思維本質上是一種計算過程 —— 換句話說，它可以用算法來模擬，而不依賴于具體的「硬件」。基于這種理念，研究者們一直試圖從人類大腦和思維的工作原理中獲得啟發，來構建具有人類智能那種靈活性和適應性的人工智能系統。
一些研究者甚至提出了一個大膽的猜想：人類大腦的復雜性和靈活性，可能來源于一個在整個大腦中普遍應用的單一算法，正是這個算法讓大腦獲得了各種不同的能力。這個想法對 AI 研究者來說極具吸引力，因為它意味著我們的工作可能比想象中簡單得多。與其費盡心思地為人工智能設計各種各樣的功能，我們或許只需要找到這個「萬能算法」，然后讓它在現實世界中自由學習，就能通過直接經驗獲得人類思維的全部能力。
近年來，大語言模型（LLM）在模擬人類智能方面取得了巨大成功。盡管它們仍有明顯的局限性 —— 這些局限性足以引發根本性的質疑 —— 但隨著模型規模和訓練數據的不斷擴大，大語言模型一次又一次地突破了人們的預期，展現出新的認知能力。
有趣的是，大語言模型的核心算法其實相當簡單：主要是預測下一個詞，再加上一些強化學習的調優。這種簡單性讓我們不禁猜想：這些算法會不會就是大腦使用的那種「萬能算法」呢？如果真是這樣，那就太令人興奮了。
想想看，人類智能的強大之處不僅在于能解決各種問題，更在于能為從未遇到過的全新問題找到解決方案。人類之所以能夠改造世界，靠的不是記憶力或解決數學問題的能力，而是從經驗中快速學習、適應新環境的能力。如果 AI 系統也能擁有這種能力，那將是一個革命性的突破。
但是，這個美好想法的基礎存在一個重大問題。早在 Transformer 語言模型出現之前， AI 研究者就在研究一個看起來非常相似的任務：視頻的下一幀預測。就像語言模型通過預測文本中的下一個詞來理解世界一樣，研究者們希望通過訓練視頻上的下一幀預測模型來提取有意義的表示和物理理解。
從表面上看，這兩個問題似乎非常相似：就像 LLM 通過預測來自網絡的文本數據中的下一個 token 來深入了解世界一樣，視頻模型可能通過預測視頻數據中的下一幀來深入了解世界。在許多方面，視頻預測甚至更吸引人、更強大，因為視頻包含的信息量遠超文本（正如 AI 大牛 Yann LeCun PPT 中的「蛋糕」），視頻數據隨處可得 —— 只需要把攝像頭對準繁忙的街道就行，而且視頻不僅能捕捉人類的語言交流，還能展現整個物理世界的豐富細節。想象一下，一個飛往遙遠星球探索的機器人，就像漂流到荒島上的人一樣，可能找不到任何文字資料，但它總能拍攝到視頻數據。

然而，現實卻讓人失望。雖然我們現在確實有了能生成逼真視頻的 AI（比如各種視頻生成模型），但要論解決復雜問題、進行深度推理、做出精妙判斷，語言模型仍然是唯一的選擇。你不能讓 Veo 3 這樣的視頻生成 AI 估算「夏威夷群島的巖石總體積是否超過珠穆朗瑪峰」，但 ChatGPT 可以輕松應對這類問題。
這很奇怪，不是嗎？語言模型接觸到的物理世界信息要少得多，看到的現實也更加有限，但它們卻展現出了更強的認知能力，甚至在空間和物理推理方面也是如此。
在科學研究中，我們通常認為越簡單、優雅、強大的理論越可能是正確的。就像描述彈簧運動有很多種公式，但我們選擇胡克定律，因為它既簡單又準確。同樣的邏輯下，如果大語言模型用簡單的算法就能實現類似人類心智的功能，那我們很容易認為它們的算法就是反映大腦計算過程的正確模型。
也就是說，如果 LLM 是用一種簡單的算法進行訓練，并獲得類似于大腦的功能，那么它們的底層算法也應該類似于大腦獲得其功能的算法。
但是，還有另一種完全不同的解釋：也許大語言模型并不是像人類那樣通過觀察世界來學習，而是通過觀察人類的思維過程，然后復制其功能。換句話說，它們沒有采用一種學習過程來了解世界是如何運作的，而是采用了一種難以置信的間接過程來掃描人類大腦，以構建人類認知過程的粗略副本。
當然，訓練大語言模型的數據中心里并沒有人被綁在核磁共振機器上（我印象里沒有）。大語言模型采用的是一種更巧妙的方法：它們通過分析人類思維在互聯網上的投影來重建人類的思維過程。
想想看，網絡上的大部分文字都是人類敲鍵盤打出來的，而每一次敲擊都反映了背后的思維活動：解數學題、講笑話、寫新聞報道等等。通過獲取文本的壓縮表示，大語言模型實際上是在進行一種「逆向工程」—— 它們試圖從這些文字中推出產生這些文字的思維過程，從而間接地復制相應的認知能力。
可以說，當人腦連接組計劃（Human Connectome Project ，一項大型腦科學研究項目）的科學家們在實驗室里一個神經元一個神經元地繪制大腦圖譜時，大語言模型已經找到了一條捷徑：它們直接跳過了神經元層面，通過人類在互聯網上投下的「思維投影」來重建人類的心智。
這就解釋了為什么視頻預測模型到目前為止還沒有取得語言模型那樣的成功。我們原本希望 AI 通過觀察真實世界的視頻來獲得物理世界的表示，就像人類從經驗中學習一樣，但大語言模型已經設法跳過了這一步：它們僅僅復制了人類心理表征的某些方面，而無需弄清楚讓人類獲得這些表征的學習算法。
這個發現既讓人興奮，又讓人擔憂。
好消息是：我們無意中創造了世界上最強大的「大腦掃描儀」，而且它真的有效！它能夠模擬人類認知的一部分功能，可以回答問題、解決問題，甚至寫詩。
壞消息是：這些 AI 系統其實生活在「柏拉圖的洞穴」里。這個洞穴就是互聯網，人類智能就像洞外的光源，在洞壁上投下現實世界的影子，而大語言模型只能看到這些影子。
在柏拉圖的寓言中，要真正理解世界，就必須走出洞穴，在陽光下觀察真實的世界。墻上的陰影只是現實的一小部分扭曲片段，而且洞里的觀察者無法決定自己能看到什么影子。
同樣地， AI 系統要獲得人類那樣的靈活性和適應性，就必須學會像人類一樣真正地學習 —— 用自己的「光芒」去照亮世界，而不是只觀察人類智能投下的陰影。
從實際應用的角度來看，這意味著什么呢？
我們可以預期，類似大語言模型的 AI 系統會很擅長模仿人類的認知技能，但在從真實世界的經驗中自主學習新技能、形成新認知、獲得新能力方面會相對薄弱 —— 而這恰恰是人類最擅長的。這也提示我們，要讓 AI 真正具備這種靈活性，我們需要找到新的方法：一種從物理經驗中自主獲取表征的方法，這樣人工智能系統就不需要依賴于由網絡文本介導的大腦掃描。
不過，作為 AI 研究者和工程師，我們也要實事求是：這些通過「大腦掃描」工作的大語言模型確實很厲害。如果我們的目標是在機器中復制類似人類的智能，那么從一個已經相當不錯的原型開始，似乎是個明智的選擇。
未來十年， AI 研究面臨的關鍵挑戰是：既要從大語言模型的成功中汲取正確的經驗，又要發現支撐真正靈活、適應性智能的基本原理 —— 那種能夠從經驗中學習、理解物理世界、為人類從未解決過的全新問題找到創新解決方案的智能。
當前的 AI 真的只是一種簡單的模擬嗎？在 Sergey Levine 的文章后，有人提出了自己的觀點：關鍵或許不是呈現的方式，而是找到連接現象與概念的方法：

他提及的論文《Harnessing the Universal Geometry of Embeddings》（https://arxiv.org/abs/2505.12540）是康奈爾大學 5 月份提交的，其提出第一種無需任何配對數據、編碼器或預定義匹配集即可將文本嵌入從一個向量空間轉換到另一個向量空間的方法。
現在的方向到底是死路一條，還是另有空間，你怎么看？
參考內容：
【大模型「躲在洞穴里」觀察世界?強化學習大佬吹哨提醒LLM致命缺點】https://sergeylevine.substack.com/p/language-models-in-platos-cave