Scaling時(shí)代終結(jié)了，Ilya Sutskever剛剛宣布_數(shù)學(xué)|openai

文章圖片

機(jī)器之心報(bào)道
機(jī)器之心編輯部
「Scaling 時(shí)代已經(jīng)終結(jié) 。」
當(dāng)這句話出自 Ilya Sutskever 之口時(shí) ，整個(gè) AI 社區(qū)都無法忽視。作為 Safe Superintelligence Inc. 的創(chuàng)始人，他在最新訪談中拋出的這一斷言，不僅令業(yè)內(nèi)震驚，更收獲了諸多重量級(jí)人物的共鳴。

這場(chǎng)由 Dwarkesh Patel 主持、長(zhǎng)達(dá) 95 分鐘的深度對(duì)話，上線短短數(shù)小時(shí)便在 X 平臺(tái)上突破了百萬瀏覽量。從大模型的技術(shù)現(xiàn)狀到研究品味，再到對(duì)超級(jí)智能的終極構(gòu)想， Ilya 毫無保留。

以下是本次訪談的精華總結(jié) ，帶你讀懂這位頂尖科學(xué)家的判斷與展望。
視頻地址：https://www.dwarkesh.com/p/ilya-sutskever-2
1. 模型能力的「參差不齊」(Model Jaggedness) 與泛化
現(xiàn)象： Ilya 指出當(dāng)前模型存在一種奇怪的矛盾 —— 它們能在高難度的評(píng)測(cè)（Evals）中表現(xiàn)出色，卻可能在簡(jiǎn)單的任務(wù)上反復(fù)犯錯(cuò)（如修 Bug 時(shí)引入新 Bug）。解釋：他認(rèn)為這可能源于「獎(jiǎng)勵(lì)黑客行為」（Reward Hacking）。人類研究員為了讓評(píng)測(cè)分?jǐn)?shù)好看，過度針對(duì)評(píng)測(cè)集進(jìn)行強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練，導(dǎo)致模型像是一個(gè)「只會(huì)做題」的學(xué)生，缺乏真正的理解和泛化能力。對(duì)比：他用「刷題家」與「有天賦的學(xué)生」做類比。目前的模型像刷了 10000 小時(shí)題目的學(xué)生，雖然能解題但缺乏真正的智能；而人類（有天賦的學(xué)生）即使練習(xí)很少，也能展現(xiàn)出更好的泛化能力。2. 情緒、價(jià)值函數(shù)與人類學(xué)習(xí)
情緒的本質(zhì)： Ilya 提出一個(gè)深刻的見解，認(rèn)為人類的情緒類似于機(jī)器學(xué)習(xí)中的價(jià)值函數(shù) (Value Function) 。情緒并非無用的累贅，而是進(jìn)化的產(chǎn)物，幫助我們?cè)诼L(zhǎng)的時(shí)間跨度中，在獲得最終結(jié)果之前就判斷當(dāng)前決策的好壞（例如下棋丟子時(shí)的「懊惱」）。學(xué)習(xí)效率：人類的學(xué)習(xí)效率遠(yuǎn)高于 AI（樣本效率高）。這不僅僅是因?yàn)檫M(jìn)化留下的先驗(yàn)知識(shí)（如視覺、運(yùn)動(dòng)），更因?yàn)槿祟悡碛心撤N基于價(jià)值函數(shù)的內(nèi)在學(xué)習(xí)機(jī)制，能夠進(jìn)行持續(xù)學(xué)習(xí) (Continual Learning) 和自我糾正。3. AI 發(fā)展的階段轉(zhuǎn)變：從「擴(kuò)展」到「研究」
擴(kuò)展時(shí)代 (Age of Scaling 2020-2025)：過去幾年，「擴(kuò)展 (Scaling)」是主旋律，只要堆算力和數(shù)據(jù)（主要是預(yù)訓(xùn)練）就能獲得提升。研究時(shí)代 (Age of Research)：現(xiàn)在，預(yù)訓(xùn)練數(shù)據(jù)即將耗盡，且單純擴(kuò)大規(guī)模的回報(bào)在邊際遞減。我們重新回到了「研究時(shí)代」。這意味著不能只靠盲目擴(kuò)大規(guī)模，而是要尋找新的「配方」（Recipe），更聰明地使用算力（例如在強(qiáng)化學(xué)習(xí)和推理過程中）。4. Safe Superintelligence Inc. (SSI) 的戰(zhàn)略
直通超級(jí)智能 (Straight-shotting)：與 OpenAI 等公司逐步發(fā)布產(chǎn)品不同， SSI 傾向于專注于研發(fā) ，直到解決安全超級(jí)智能的問題后再發(fā)布。盡管 Ilya 也承認(rèn)逐步發(fā)布有助于讓世界適應(yīng) ，但他認(rèn)為避免商業(yè)競(jìng)爭(zhēng)的「老鼠賽跑」對(duì)安全至關(guān)重要。技術(shù)路徑： SSI 試圖解決根本性的技術(shù)問題（如可靠的泛化），而不是僅僅在現(xiàn)有范式上修修補(bǔ)補(bǔ) 。商業(yè)模式：目前專注于研究，不急于通過產(chǎn)品獲利。5. 對(duì)齊與未來展望
關(guān)愛感知生命： Ilya 提出的核心對(duì)齊目標(biāo)是「關(guān)愛感知生命 (Care for sentient life)」。他認(rèn)為這是一個(gè)比單純「聽從人類指令」更穩(wěn)健的目標(biāo) ，因?yàn)?AI 本身也將是感知生命的一部分。多智能體與生態(tài)：未來可能會(huì)有多個(gè)大陸級(jí)規(guī)模的 AI 集群。只要前幾個(gè)最強(qiáng)大的 AI 是對(duì)齊的（關(guān)愛生命的），世界可能會(huì)進(jìn)入一個(gè)良性發(fā)展的軌道。長(zhǎng)期均衡：他設(shè)想了一種長(zhǎng)期均衡狀態(tài) ，人類通過腦機(jī)接口（如 Neuralink++）與 AI 融合，成為「半 AI」，從而避免被完全邊緣化。6. 研究品味
審美與直覺： Ilya 分享了他的研究哲學(xué) 。他依靠一種「自上而下」的信念，這種信念源于對(duì)美、簡(jiǎn)單性的追求以及對(duì)生物學(xué)（大腦）的正確借鑒。堅(jiān)持：當(dāng)實(shí)驗(yàn)數(shù)據(jù)與直覺相悖時(shí) ，這種基于美的信念能支撐研究者繼續(xù)尋找 Bug 或堅(jiān)持方向，而不是輕易放棄。以下為采訪完整內(nèi)容的轉(zhuǎn)錄和翻譯。
解釋模型能力的參差不齊
Ilya Sutskever：你知道什么最瘋狂嗎？這一切都是真實(shí)的。
Dwarkesh Patel：指的是什么？
Ilya Sutskever：你不覺得嗎？所有這些 AI 的東西，整個(gè)灣區(qū)的氛圍…… 它正在發(fā)生。這難道不像是科幻小說里的情節(jié)嗎？
Dwarkesh Patel：另一件瘋狂的事是，這種「緩慢起飛 (slow takeoff)」的感覺是多么的平淡無奇。按理說，如果我們正在將 GDP 的 1% 投入到 AI 中，感覺應(yīng)該會(huì)更轟動(dòng)一些，但現(xiàn)在感覺就像……
Ilya Sutskever：事實(shí)證明，我們適應(yīng)得很快。而且這也比較抽象。這意味著什么呢？意味著你在新聞里看到某某公司宣布了某某金額的投資。你看到的僅此而已。到目前為止，還沒有在其他方面真正感受到它。
Dwarkesh Patel：我們要從這里開始嗎？我覺得這是個(gè)有趣的討論點(diǎn) 。
Ilya Sutskever：當(dāng)然。
Dwarkesh Patel：我認(rèn)為你的觀點(diǎn)是，從普通人的角度來看，沒什么太大的不同。這種感覺甚至在進(jìn)入奇點(diǎn) (singularity) 之后還會(huì)持續(xù) 。
Ilya Sutskever：不，我不這么認(rèn)為。
Dwarkesh Patel：好的，這很有趣。
Ilya Sutskever：我剛才指的「感覺沒什么不同」，是因?yàn)槟衬彻拘剂艘粋€(gè)難以理解的巨額投資數(shù)字，我覺得沒人知道該拿這些錢干什么。
但我認(rèn)為 AI 的影響將會(huì)被切實(shí)感受到。 AI 將滲透到整個(gè)經(jīng)濟(jì)中。會(huì)有非常強(qiáng)大的經(jīng)濟(jì)力量推動(dòng)這一點(diǎn) ，我認(rèn)為這種影響將會(huì)非常強(qiáng)烈。
Dwarkesh Patel：你預(yù)期這種影響什么時(shí)候會(huì)到來？目前的模型似乎比它們產(chǎn)生的經(jīng)濟(jì)影響要聰明得多。
Ilya Sutskever：是的。這是目前模型非常令人困惑的地方之一。如何調(diào)和這樣一個(gè)事實(shí)：它們?cè)谠u(píng)測(cè) (evals) 上表現(xiàn)得如此出色？你看那些評(píng)測(cè)會(huì)想，「這些題目挺難的。」它們做得很好。但經(jīng)濟(jì)影響似乎大大滯后。很難理解，為什么模型一方面能做這些驚人的事情，另一方面卻會(huì)在某些情況下重復(fù)犯錯(cuò)？
舉個(gè)例子，假設(shè)你用「Vibe Coding」（憑感覺編程 / 氛圍編碼）做點(diǎn)什么。你寫到某個(gè)地方，然后出了個(gè) Bug 。你告訴模型：「能不能修一下這個(gè) Bug？」模型說：「天哪，你說得太對(duì)了。我有個(gè) Bug 。讓我去修好它。」然后它引入了第二個(gè) Bug 。你告訴它：「你有這個(gè)新的 Bug 。」它說：「天哪，我怎么會(huì)這樣？你又說對(duì)了。」然后它把第一個(gè) Bug 又帶回來了，你就在這兩個(gè) Bug 之間來回折騰。這怎么可能呢？我不確定，但這確實(shí)表明有些奇怪的事情正在發(fā)生。
我有兩個(gè)可能的解釋。比較異想天開的解釋是，也許強(qiáng)化學(xué)習(xí) (RL) 訓(xùn)練讓模型變得有點(diǎn)過于一根筋和視野狹窄，有點(diǎn)過于缺乏意識(shí) ，盡管這同時(shí)也讓它們?cè)谄渌矫娓幸庾R(shí) 。正因?yàn)槿绱?，它們無法完成一些基本的事情。
但還有另一種解釋。過去人們做預(yù)訓(xùn)練 (pre-training) 時(shí) ，「用什么數(shù)據(jù)訓(xùn)練」這個(gè)問題的答案很簡(jiǎn)單，就是所有數(shù)據(jù) 。做預(yù)訓(xùn)練時(shí) ，你需要所有的數(shù)據(jù) 。所以你不必糾結(jié)是用這個(gè)數(shù)據(jù)還是那個(gè)數(shù)據(jù) 。
但當(dāng)人們做 RL 訓(xùn)練時(shí) ，他們必須思考。他們會(huì)說：「好吧，我們想為這個(gè)任務(wù)做這類 RL 訓(xùn)練，為那個(gè)任務(wù)做那類 RL 訓(xùn)練。」據(jù)我所知，所有公司都有專門的團(tuán)隊(duì)負(fù)責(zé)生成新的 RL 環(huán)境并將其添加到訓(xùn)練混合中。問題是，這些環(huán)境是什么？自由度太高了。你可以生成的 RL 環(huán)境種類繁多。
有一件事是可以做的，我認(rèn)為這也是人們無意中在做的事情，就是從評(píng)測(cè)集 (evals) 中獲取靈感。你會(huì)說：「嘿，我希望我們的模型發(fā)布時(shí)表現(xiàn)出色。我希望評(píng)測(cè)結(jié)果看起來很棒。什么樣的 RL 訓(xùn)練能在這些任務(wù)上有所幫助？」我認(rèn)為這是正在發(fā)生的事情，它可以解釋很多現(xiàn)象。
如果你把這點(diǎn)與模型實(shí)際上泛化能力不足結(jié)合起來看，這就有可能解釋我們所看到的很多現(xiàn)象 —— 即評(píng)測(cè)性能與實(shí)際現(xiàn)實(shí)世界性能之間的脫節(jié) 。這是我們今天甚至還沒完全理解其含義的事情。
Dwarkesh Patel：我喜歡這個(gè)觀點(diǎn)：真正的獎(jiǎng)勵(lì)黑客 (reward hacking) 行為其實(shí)是人類研究員，他們太關(guān)注評(píng)測(cè)結(jié)果了。
關(guān)于你剛才指出的這一點(diǎn) ，我認(rèn)為有兩種理解方式。一種是，如果僅僅通過在編程競(jìng)賽中達(dá)到超人類水平，模型并不會(huì)自動(dòng)變得更有品位、在改進(jìn)代碼庫(kù)時(shí)擁有更好的判斷力，那么你應(yīng)該擴(kuò)展環(huán)境套件，不僅僅測(cè)試它在編程競(jìng)賽中的表現(xiàn) ，還要讓它能夠?yàn)?X、Y 或 Z 做出最好的應(yīng)用。
另一種，也許正是你暗示的，是問：「為什么在編程競(jìng)賽中達(dá)到超人類水平，卻不能讓你在更廣泛的意義上成為一個(gè)更有品位的程序員？」也許我們要做的不是不斷堆砌環(huán)境的數(shù)量和多樣性，而是找出一種方法，讓你能從一個(gè)環(huán)境中學(xué)習(xí) ，進(jìn)而提高在其他事情上的表現(xiàn) 。
Ilya Sutskever：我有一個(gè)人類的類比可能很有幫助。既然你提到了編程競(jìng)賽，我們就以此為例。假設(shè)有兩個(gè)學(xué)生。其中一個(gè)決定要成為最好的競(jìng)賽程序員，所以他在該領(lǐng)域練習(xí)了 10000 小時(shí) 。他解決了所有問題，背誦了所有證明技巧，并且非常熟練地快速、正確地實(shí)現(xiàn)所有算法。通過這樣做，他成為了頂尖選手之一。
二號(hào)學(xué)生覺得：「哦，編程競(jìng)賽挺酷的。」也許他只練了 100 小時(shí) ，少得多，但也做得很好。你認(rèn)為哪一個(gè)在以后的職業(yè)生涯中會(huì)做得更好？
Dwarkesh Patel：第二個(gè) 。
Ilya Sutskever：對(duì) 。我認(rèn)為這就是目前正在發(fā)生的情況。現(xiàn)在的模型更像第一個(gè)學(xué)生，甚至有過之而無不及。因?yàn)槲覀儠?huì)說，模型應(yīng)該擅長(zhǎng)編程競(jìng)賽，所以讓我們把有史以來所有的編程競(jìng)賽題都拿來。然后我們?cè)僮鲆恍?shù)據(jù)增強(qiáng) ，這樣我們就有了更多的題目，并在上面進(jìn)行訓(xùn)練。現(xiàn)在你有了一個(gè)很棒的競(jìng)賽程序員。
用這個(gè)類比就更直觀了。是的，好吧，既然訓(xùn)練得這么好，所有不同的算法和證明技巧都信手拈來。但更直觀的是，這種程度的準(zhǔn)備并不一定能泛化到其他事情上。
Dwarkesh Patel：那么，第二個(gè)學(xué)生在做那 100 小時(shí)的微調(diào) (fine-tuning) 之前，他在做什么？對(duì)應(yīng)的類比是什么？
Ilya Sutskever：我覺得是因?yàn)樗麄冇小改莻€(gè)東西」（it）。一種天賦因素。我讀本科的時(shí)候，記得有個(gè)同學(xué)就是這樣，所以我知道這種人是存在的。
Dwarkesh Patel：我覺得區(qū)分「天賦」和預(yù)訓(xùn)練的作用很有趣。理解你剛才關(guān)于「預(yù)訓(xùn)練不用選擇數(shù)據(jù)」的一種方式是，這其實(shí)和 10000 小時(shí)的練習(xí)沒什么不同。只是你在預(yù)訓(xùn)練分布中已經(jīng)免費(fèi)獲得了這 10000 小時(shí)的練習(xí) 。但也許你的意思是，其實(shí)從預(yù)訓(xùn)練中獲得的泛化并沒有那么多。預(yù)訓(xùn)練中雖然有海量數(shù)據(jù) ，但它并不一定比 RL 泛化得更好。
Ilya Sutskever：預(yù)訓(xùn)練的主要優(yōu)勢(shì)在于：A ，數(shù)據(jù)量巨大；B ，你不需要費(fèi)盡心思去想把什么數(shù)據(jù)放入預(yù)訓(xùn)練中。這是非常自然的數(shù)據(jù) ，其中確實(shí)包含了很多人類的行為：人們的思想和大量的特征 (features) 。它就像是整個(gè)世界被人類投射到了文本上，而預(yù)訓(xùn)練試圖利用海量數(shù)據(jù)來捕捉這一點(diǎn) 。
預(yù)訓(xùn)練很難進(jìn)行推理分析，因?yàn)楹茈y理解模型以何種方式依賴預(yù)訓(xùn)練數(shù)據(jù) 。每當(dāng)模型犯錯(cuò)時(shí) ，是不是因?yàn)槟承〇|西恰好沒有得到預(yù)訓(xùn)練數(shù)據(jù)的充分支持？「預(yù)訓(xùn)練的支持」也許是個(gè)寬泛的術(shù)語。我不知道我還能對(duì)此補(bǔ)充什么更有用的信息。我不認(rèn)為人類有類似預(yù)訓(xùn)練的過程。
情緒與價(jià)值函數(shù)
Dwarkesh Patel：關(guān)于人類類似預(yù)訓(xùn)練的過程，人們提出過一些類比。我很想聽聽你為什么認(rèn)為它們可能是錯(cuò)的。一種是認(rèn)為這就像人生的前 18、15 或 13 年，那時(shí)他們不一定在創(chuàng)造經(jīng)濟(jì)價(jià)值，但他們?cè)谧鲆恍┦虑橐愿玫乩斫馐澜?。另一種是將進(jìn)化視為一種持續(xù) 30 億年的搜索，最終產(chǎn)生了一個(gè)人類生命的實(shí)例。
你認(rèn)為這些類比中哪一個(gè)接近預(yù)訓(xùn)練嗎？如果你不認(rèn)為那是預(yù)訓(xùn)練，你會(huì)如何看待人類的終身學(xué)習(xí)？
Ilya Sutskever：我認(rèn)為這兩者與預(yù)訓(xùn)練都有相似之處，預(yù)訓(xùn)練試圖扮演這兩者的角色。但我認(rèn)為也有很大的不同。預(yù)訓(xùn)練的數(shù)據(jù)量是非常非常驚人的。
Dwarkesh Patel：是的。
Ilya Sutskever：不知何故，一個(gè)人即使過了 15 年，接觸到的數(shù)據(jù)量只是預(yù)訓(xùn)練的一小部分，他們知道的信息量少得多。但無論他們知道什么，他們似乎理解得更深刻。在那個(gè)年紀(jì) ，你已經(jīng)不會(huì)犯我們的 AI 所犯的那些錯(cuò)誤了。
還有另一件事。你可能會(huì)說，這會(huì)不會(huì)像進(jìn)化？答案是也許。但在這種情況下，我認(rèn)為進(jìn)化實(shí)際上可能更有優(yōu)勢(shì) 。我記得讀過這樣一個(gè)案例。神經(jīng)科學(xué)家了解大腦的一種方法是研究大腦不同部位受損的人。有些人會(huì)出現(xiàn)你能想象到的最奇怪的癥狀。這真的非常有意思。
我想到一個(gè)相關(guān)的案例。我讀到過一個(gè)人，他因某種腦損傷、中風(fēng)或事故，喪失了情緒處理能力。所以他不再感受到任何情緒。他仍然非常善于表達(dá) ，可以解決小謎題，在測(cè)試中看起來一切正常。但他感覺不到情緒。他不覺得悲傷，不覺得憤怒，也不覺得興奮。不知何故，他在做任何決定時(shí)都變得極度糟糕。決定穿哪雙襪子都要花好幾個(gè)小時(shí) 。他會(huì)做出非常糟糕的財(cái)務(wù)決策。
這說明了什么？關(guān)于我們內(nèi)置的情緒在使我們成為一個(gè)可行主體 (viable agent) 方面的作用？回到你關(guān)于預(yù)訓(xùn)練的問題，也許如果你足夠擅長(zhǎng)從預(yù)訓(xùn)練中挖掘一切，你也能得到那個(gè)東西。但這看起來像是…… 好吧，從預(yù)訓(xùn)練中獲得那個(gè)東西可能是可能的，也可能不可能。
Dwarkesh Patel：「那個(gè)東西」是什么？顯然不僅僅是直接的情緒。它看起來幾乎像某種價(jià)值函數(shù) (value function) 似的東西，它告訴你任何決定的最終回報(bào)應(yīng)該是什么。你認(rèn)為這不會(huì)從預(yù)訓(xùn)練中隱式地產(chǎn)生嗎？
Ilya Sutskever：我認(rèn)為它是可以產(chǎn)生的。我只是說這并不是 100% 顯而易見的。
Dwarkesh Patel：但那是什么呢？你怎么看待情緒？情緒在機(jī)器學(xué)習(xí) (ML) 中的類比是什么？
Ilya Sutskever：它應(yīng)該是某種價(jià)值函數(shù)的東西。但我認(rèn)為目前沒有一個(gè)很好的 ML 類比，因?yàn)楝F(xiàn)在價(jià)值函數(shù)在人們做的事情中并沒有扮演非常突出的角色。
Dwarkesh Patel：也許值得為聽眾定義一下什么是價(jià)值函數(shù) ，如果你愿意的話。
Ilya Sutskever：當(dāng)然，我很樂意。當(dāng)人們做強(qiáng)化學(xué)習(xí) (RL) 時(shí) ，目前 RL 是怎么做的？人們?nèi)绾斡?xùn)練這些智能體 (agents)？你有一個(gè)神經(jīng)網(wǎng)絡(luò) ，你給它一個(gè)問題，然后告訴模型：「去解決它。」模型會(huì)進(jìn)行也許數(shù)千、數(shù)十萬次的動(dòng)作或思考，然后生成一個(gè)解決方案。這個(gè)解決方案會(huì)被打分。
然后這個(gè)分?jǐn)?shù)被用來為你的軌跡中的每一個(gè)動(dòng)作提供訓(xùn)練信號(hào) 。這意味著如果你在做一件持續(xù)時(shí)間很長(zhǎng)的事情 —— 如果你在訓(xùn)練一個(gè)需要很長(zhǎng)時(shí)間才能解決的任務(wù) —— 在你想出提議的解決方案之前，它根本不會(huì)進(jìn)行任何學(xué)習(xí) 。這是最原始的強(qiáng)化學(xué)習(xí)做法。這也是 o1、R1 表面上的做法。
價(jià)值函數(shù)會(huì)說類似這樣的話：「也許我可以有時(shí) —— 不總是 —— 告訴你你做得好還是壞。」價(jià)值函數(shù)的概念在某些領(lǐng)域比其他領(lǐng)域更有用。例如，當(dāng)你下國(guó)際象棋丟了一個(gè)子，我搞砸了。你不需要下完整盤棋就知道我剛才做的那步很糟糕，因此在此之前的一系列操作也很糟糕。
價(jià)值函數(shù)讓你不必等到最后。假設(shè)你在做某種數(shù)學(xué)或編程的事情，你試圖探索特定的解決方案或方向。在思考了，比如說一千步之后，你得出結(jié)論這個(gè)方向沒希望。一旦你得出這個(gè)結(jié)論，你其實(shí)早在以前的一千個(gè)時(shí)間步之前，當(dāng)你決定沿著這條路走的時(shí)候，就可以得到一個(gè)獎(jiǎng)勵(lì)信號(hào)了。你會(huì)說：「下次在類似情況下我不應(yīng)該走這條路」，這比起你真正拿出解決方案要早得多。
Dwarkesh Patel：這在 DeepSeek R1 的論文里提到過 —— 軌跡空間太寬廣了，也許很難學(xué)習(xí)從中間軌跡到價(jià)值的映射。而且考慮到，比如在寫代碼時(shí) ，你可能會(huì)有一個(gè)錯(cuò)誤的想法，然后你會(huì)回去修改。
Ilya Sutskever：這聽起來對(duì)深度學(xué)習(xí)太沒信心了。當(dāng)然這可能很難，但沒什么深度學(xué)習(xí)做不到的。我的預(yù)期是價(jià)值函數(shù)應(yīng)該是有用的，我完全預(yù)期它們將在未來被使用，如果現(xiàn)在還沒被使用的話。
我之前提到的那個(gè)情感中樞受損的人，我想表達(dá)的是，也許這表明人類的價(jià)值函數(shù)在某種重要的方面受到情緒的調(diào)節(jié) ，這種調(diào)節(jié)是由進(jìn)化硬編碼的。也許這對(duì)于人類在這個(gè)世界上有效行動(dòng)很重要。
Dwarkesh Patel：這正是我打算問你的。關(guān)于價(jià)值函數(shù)的情緒有一些非常有趣的地方，那就是雖然它們相當(dāng)容易理解，卻擁有如此巨大的效用，這令人印象深刻。
Ilya Sutskever：我有兩個(gè)回應(yīng) 。我確實(shí)同意，相比于我們學(xué)到的東西和我們?cè)谡務(wù)摰?AI 類型，情緒相對(duì)簡(jiǎn)單。它們甚至可能簡(jiǎn)單到你可以用人類能理解的方式將它們映射出來。我覺得這樣做會(huì)很酷。
不過就效用而言，我認(rèn)為存在一種復(fù)雜性與魯棒性（robustness）的權(quán)衡，復(fù)雜的東西可能非常有用，但簡(jiǎn)單的東西在非常廣泛的情況下非常有用。解釋我們所見現(xiàn)象的一種方式是，我們的情緒主要從哺乳動(dòng)物祖先那里進(jìn)化而來，然后在我們成為人科動(dòng)物時(shí)微調(diào)了一點(diǎn)點(diǎn) ，只是一點(diǎn)點(diǎn) 。我們確實(shí)有相當(dāng)數(shù)量的社會(huì)性情緒，這是哺乳動(dòng)物可能缺乏的。但它們并不是非常復(fù)雜。正因?yàn)樗鼈儾粡?fù)雜，所以在這個(gè)與我們過去生活的世界截然不同的現(xiàn)代世界中，它們依然能很好地為我們服務(wù) 。
實(shí)際上，它們也會(huì)犯錯(cuò) 。例如，我們的情緒…… 其實(shí)我不知道，饑餓算是一種情緒嗎？這有爭(zhēng)議。但我認(rèn)為，例如我們直覺上的饑餓感，在當(dāng)今這個(gè)食物充足的世界里并沒有成功地正確引導(dǎo)我們。
我們?cè)跀U(kuò)展什么？
Dwarkesh Patel：人們一直在談?wù)摂U(kuò)展數(shù)據(jù)、擴(kuò)展參數(shù)、擴(kuò)展算力。有沒有更通用的方式來思考擴(kuò)展？其他的擴(kuò)展軸是什么？
Ilya Sutskever：這里有一個(gè)我認(rèn)為可能是正確的視角。過去 ML 的工作方式是人們只是修修補(bǔ)補(bǔ) ，試圖得到有趣的結(jié)果。這是過去的情況。
然后擴(kuò)展的洞察力到來了。擴(kuò)展定律 (Scaling laws)、GPT-3 ，突然之間大家都意識(shí)到我們應(yīng)該進(jìn)行擴(kuò)展。這是語言如何影響思想的一個(gè)例子。「擴(kuò)展 (Scaling)」只是一個(gè)詞，但它是一個(gè)非常有力的詞，因?yàn)樗嬖V人們?cè)撟鍪裁?。他們說，「讓我們?cè)囍鴶U(kuò)展東西。」所以你會(huì)問，我們?cè)跀U(kuò)展什么？預(yù)訓(xùn)練是那個(gè)被擴(kuò)展的東西。它是一個(gè)特定的擴(kuò)展配方。
預(yù)訓(xùn)練的巨大突破在于意識(shí)到這個(gè)配方是好的。你會(huì)說：「嘿，如果你把一些算力和一些數(shù)據(jù)混合到一個(gè)特定大小的神經(jīng)網(wǎng)絡(luò)中，你就會(huì)得到結(jié)果。你知道只要按比例放大這個(gè)配方，效果就會(huì)更好。」這也很棒。公司喜歡這個(gè) ，因?yàn)樗鼮槟闾峁┝艘环N非常低風(fēng)險(xiǎn)的資源投資方式。
相比之下，把資源投入到研究中要困難得多。如果做研究，你需要說：「去吧，研究人員，去研究并想出點(diǎn)東西來」，而不是「獲取更多數(shù)據(jù) ，獲取更多算力」。你知道你會(huì)從預(yù)訓(xùn)練中得到東西。
確實(shí) ，根據(jù)一些人在 Twitter 上的說法，看起來也許 Gemini 已經(jīng)找到了一種從預(yù)訓(xùn)練中挖掘更多價(jià)值的方法。但到了某個(gè)時(shí)候，預(yù)訓(xùn)練的數(shù)據(jù)將會(huì)耗盡。數(shù)據(jù)顯然是有限的。接下來做什么？要么你做某種加強(qiáng)版的預(yù)訓(xùn)練 —— 一種不同于以往的配方，要么你做 RL ，或者其他什么。但現(xiàn)在既然算力很大，算力現(xiàn)在非常巨大，從某種意義上說，我們又回到了研究時(shí)代。
也許這是另一種說法。直到 2020 年，從 2012 年到 2020 年，那是研究的時(shí)代。現(xiàn)在，從 2020 年到 2025 年，是擴(kuò)展的時(shí)代 —— 也許加上誤差范圍 —— 因?yàn)槿藗冋f：「這太神奇了。你得擴(kuò)展更多。繼續(xù)擴(kuò)展。」就這一個(gè)詞：擴(kuò)展。
但現(xiàn)在的規(guī)模已經(jīng)太大了。人們真的相信「哦，雖然現(xiàn)在很大，但如果你有 100 倍以上，一切都會(huì)變得如此不同」嗎？肯定會(huì)有所不同。但真的相信只要將規(guī)模擴(kuò)大 100 倍，一切都會(huì)發(fā)生質(zhì)變嗎？我不認(rèn)為那是真的。所以這又回到了研究時(shí)代，只是有了更大的計(jì)算機(jī) 。
Dwarkesh Patel：這是一種非常有趣的說法。但讓我問你剛才提出的問題。我們?cè)跀U(kuò)展什么，擁有一個(gè)配方意味著什么？我想我沒意識(shí)到在預(yù)訓(xùn)練中存在一種非常清晰的關(guān)系，幾乎像物理定律一樣。在數(shù)據(jù)、算力或參數(shù)與損失 (loss) 之間存在冪律關(guān)系。我們應(yīng)該尋求什么樣的關(guān)系，我們應(yīng)該如何思考這個(gè)新配方可能是什么樣子的？
Ilya Sutskever：我們已經(jīng)目睹了從一種類型的擴(kuò)展到另一種類型擴(kuò)展的轉(zhuǎn)變，從預(yù)訓(xùn)練到 RL 。現(xiàn)在人們正在擴(kuò)展 RL 。根據(jù)人們?cè)?Twitter 上的說法，他們現(xiàn)在花在 RL 上的算力比花在預(yù)訓(xùn)練上的還多，因?yàn)?RL 實(shí)際上可以消耗相當(dāng)多的算力。你做很長(zhǎng)的展開 (rollouts) ，所以產(chǎn)生這些展開需要大量的算力。然后你從每個(gè)展開中獲得相對(duì)較少的學(xué)習(xí)量，所以你真的可以消耗大量的算力。
我甚至不會(huì)稱之為擴(kuò)展。我會(huì)說：「嘿，你在做什么？你做的事情是你所能做的最高效的事情嗎？你能找到一種更高效利用算力的方法嗎？」我們之前討論過價(jià)值函數(shù)的事情。也許一旦人們擅長(zhǎng)使用價(jià)值函數(shù) ，他們就會(huì)更高效地利用資源。如果你找到了另一種完全不同的訓(xùn)練模型的方法，你會(huì)說：「這是擴(kuò)展還是僅僅是在使用資源？」我認(rèn)為這變得有點(diǎn)模棱兩可。
某種意義上，當(dāng)人們回到那時(shí)的研究時(shí)代，就是：「讓我們?cè)囋囘@個(gè)、這個(gè)和這個(gè) 。讓我們?cè)囋嚹莻€(gè)、那個(gè)和那個(gè) 。哦，看，有趣的事情發(fā)生了。」我認(rèn)為將會(huì)回歸到這種狀態(tài) 。
Dwarkesh Patel：如果我們回到研究時(shí)代，退一步說，我們需要思考的配方中最重要的是哪一部分？當(dāng)你說價(jià)值函數(shù)時(shí) ，人們已經(jīng)在嘗試當(dāng)前的配方了，但之后會(huì)有大模型作為裁判 (LLM-as-a-Judge) 之類的東西。你可以說那是價(jià)值函數(shù) ，但聽起來你腦海中有更根本的東西。我們是否應(yīng)該徹底重新思考預(yù)訓(xùn)練，而不僅僅是在那個(gè)過程的末尾添加更多步驟？
Ilya Sutskever：關(guān)于價(jià)值函數(shù)的討論，我認(rèn)為很有趣。我想強(qiáng)調(diào)的是，我認(rèn)為價(jià)值函數(shù)會(huì)讓 RL 更有效率，這會(huì)有所不同。但我認(rèn)為任何你能用價(jià)值函數(shù)做的事，你也可以不用它做，只是慢一點(diǎn) 。我認(rèn)為最根本的事情是，這些模型的泛化能力不知何故比人類差得多。這是超級(jí)明顯的。這似乎是一件非常根本的事情。
為什么人類比模型泛化得更好
Dwarkesh Patel：這就是關(guān)鍵所在：泛化。這有兩個(gè)子問題。一個(gè)是關(guān)于樣本效率 (sample efficiency)：為什么這些模型學(xué)習(xí)需要比人類多得多的數(shù)據(jù)？還有第二個(gè)問題。即使撇開數(shù)據(jù)量不談，為什么教模型我們要的東西比教人類要難得多？對(duì)于人類，我們不一定需要一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)…… 你可能正在指導(dǎo)一群研究人員，你和他們交談，給他們看你的代碼，向他們展示你是如何思考的。從中，他們學(xué)會(huì)了你的思維方式以及他們應(yīng)該如何做研究。
你不必為他們?cè)O(shè)定一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì) ，比如：「好，這是課程的下一部分，現(xiàn)在這是你課程的下一部分。哦，這次訓(xùn)練不穩(wěn)定。」沒有這種繁瑣、定制的過程。也許這兩個(gè)問題實(shí)際上以某種方式相關(guān) ，但我很好奇探索這第二個(gè)東西，它更像持續(xù)學(xué)習(xí) (continual learning) ，而第一個(gè)東西感覺就像樣本效率。
Ilya Sutskever：實(shí)際上你可以懷疑，對(duì)于人類樣本效率的一個(gè)可能解釋是進(jìn)化。進(jìn)化給了我們少量但最有用的信息。對(duì)于視覺、聽覺和運(yùn)動(dòng)這些事情，我認(rèn)為有很強(qiáng)的理由證明進(jìn)化給了我們很多。
例如，人類的靈巧度遠(yuǎn)遠(yuǎn)超過…… 我的意思是，如果你在模擬環(huán)境中對(duì)機(jī)器人進(jìn)行大量訓(xùn)練，機(jī)器人也可以變得靈巧。但在現(xiàn)實(shí)世界中訓(xùn)練機(jī)器人像人一樣快速學(xué)會(huì)一項(xiàng)新技能似乎遙不可及。在這里你可以說，「哦是的，運(yùn)動(dòng)能力。我們所有的祖先都需要極好的運(yùn)動(dòng)能力，松鼠也是。所以關(guān)于運(yùn)動(dòng)能力，也許我們有一些難以置信的先驗(yàn)知識(shí) (prior) 。」
你也可以對(duì)視覺做同樣的論證。我相信 Yann LeCun 提出過一個(gè)觀點(diǎn) ，孩子練習(xí) 10 小時(shí)就能學(xué)會(huì)開車，這是真的。但我們的視覺太好了。至少對(duì)我來說，我記得自己五歲的時(shí)候。那時(shí)候我對(duì)汽車非常興奮。我敢肯定，作為一個(gè)五歲的孩子，我的汽車識(shí)別能力已經(jīng)足以用來開車了。作為一個(gè)五歲的孩子，你看不到那么多數(shù)據(jù) 。你大部分時(shí)間都待在父母家里，所以你的數(shù)據(jù)多樣性非常低。
但你可以說這也是進(jìn)化。但在語言、數(shù)學(xué)和編程方面，可能就不是了。
Dwarkesh Patel：這似乎仍然比模型好。顯然，模型在語言、數(shù)學(xué)和編程方面比普通人強(qiáng) 。但它們?cè)趯W(xué)習(xí)能力上比普通人強(qiáng)嗎？
Ilya Sutskever：哦是的。哦是的，絕對(duì)的。我想說的是，語言、數(shù)學(xué)和編程 —— 尤其是數(shù)學(xué)和編程 —— 表明，讓人類擅長(zhǎng)學(xué)習(xí)的東西可能不是一個(gè)復(fù)雜的先驗(yàn) ，而是更多的東西，某種根本性的東西。
Dwarkesh Patel：我不確定我理解了。為什么會(huì)這樣？
Ilya Sutskever：考慮一項(xiàng)人類表現(xiàn)出某種巨大可靠性的技能。如果這項(xiàng)技能對(duì)我們的祖先在數(shù)百萬年、數(shù)億年里非常有用，你可以爭(zhēng)辯說，也許人類擅長(zhǎng)它是由于進(jìn)化，因?yàn)槲覀冇幸粋€(gè)先驗(yàn) ，一個(gè)進(jìn)化先驗(yàn) ，它以某種非常不明顯的方式編碼，不知何故讓我們?nèi)绱松瞄L(zhǎng)它。
但是，如果人們?cè)谝粋€(gè)直到最近才存在的領(lǐng)域表現(xiàn)出巨大的能力、可靠性、魯棒性和學(xué)習(xí)能力，那么這更多地表明人類可能只是擁有更好的機(jī)器學(xué)習(xí)機(jī)制，句號(hào) 。
Dwarkesh Patel：我們應(yīng)該如何思考那是什么？ML 的類比是什么？這有幾個(gè)有趣的地方。它需要更少的樣本。它更是無監(jiān)督的。一個(gè)孩子學(xué)開車…… 孩子不學(xué)開車。一個(gè)青少年學(xué)開車并沒有得到某種預(yù)先構(gòu)建的、可驗(yàn)證的獎(jiǎng)勵(lì) 。這是來自于他們與機(jī)器和環(huán)境的互動(dòng) 。它需要的樣本少得多。它看起來更無監(jiān)督。它看起來更魯棒？
Ilya Sutskever：魯棒得多。人類的魯棒性真的令人咋舌。
Dwarkesh Patel：你有沒有一種統(tǒng)一的方式來思考為什么所有這些事情同時(shí)發(fā)生？能夠?qū)崿F(xiàn)類似這種事情的 ML 類比是什么？
Ilya Sutskever：你一直問的一件事是，青少年司機(jī)如何能夠自我糾正并從經(jīng)驗(yàn)中學(xué)習(xí) ，而不需要外部老師？答案是他們有自己的價(jià)值函數(shù) 。他們有一種一般的感覺，順便說一句，這種感覺在人身上也非常魯棒。無論人類的價(jià)值函數(shù)是什么，除了成癮等少數(shù)例外，它實(shí)際上非常非常魯棒。
所以對(duì)于像青少年學(xué)開車這樣的事情，他們開始開車，他們立即對(duì)自己開得怎么樣有一種感覺，開得有多爛，有多不自信。然后他們看到，「好吧。」當(dāng)然，任何青少年的學(xué)習(xí)速度都是如此之快。 10 小時(shí)后，你就學(xué)會(huì)了。
Dwarkesh Patel：人類似乎有某種解決方案，但我很好奇他們是如何做到的，為什么這么難？我們需要如何重新概念化我們訓(xùn)練模型的方式，以使類似的事情成為可能？
Ilya Sutskever：這是一個(gè)很好的問題，這也是我有很多觀點(diǎn)的問題。但不幸的是，我們生活在一個(gè)并非所有機(jī)器學(xué)習(xí)想法都能自由討論的世界里，這就是其中之一。可能有辦法做到。我認(rèn)為這是可以做到的。人類是那樣的這一事實(shí) ，我認(rèn)為這是一個(gè)證明它可以被做到的證據(jù) 。
不過可能還有另一個(gè)阻礙，那就是人類神經(jīng)元進(jìn)行的計(jì)算可能比我們要多。如果這是真的，并且如果這起著重要作用，那么事情可能會(huì)更困難。但無論如何，我確實(shí)認(rèn)為這指向了某種機(jī)器學(xué)習(xí)原理的存在，我有我的看法。但不幸的是，環(huán)境使得很難詳細(xì)討論。
Dwarkesh Patel：沒人聽這個(gè)播客的， Ilya 。
直通超級(jí)智能
Dwarkesh Patel：我很好奇。如果你說我們回到了研究時(shí)代，你在 2012 年到 2020 年就在那里。如果我們回到研究時(shí)代，現(xiàn)在的氛圍會(huì)是什么樣的？
例如，即使在 AlexNet 之后，用于運(yùn)行實(shí)驗(yàn)的算力量一直在增加，前沿系統(tǒng)的規(guī)模也在不斷增加。你認(rèn)為現(xiàn)在的研究時(shí)代是否仍然需要巨大的算力？你認(rèn)為這是否需要回到檔案館去閱讀舊論文？
【Scaling時(shí)代終結(jié)了，Ilya Sutskever剛剛宣布】你在谷歌、OpenAI 和斯坦福待過，那時(shí)有更多的研究氛圍。我們應(yīng)該期待社區(qū)里出現(xiàn)什么樣的事情？
Ilya Sutskever：擴(kuò)展時(shí)代的一個(gè)后果是，擴(kuò)展吸走了房間里所有的空氣。因?yàn)閿U(kuò)展吸走了所有的空氣，每個(gè)人都開始做同樣的事情。我們要到了這樣一個(gè)地步，世界上的公司比想法多得多。實(shí)際上關(guān)于這點(diǎn) ，硅谷有句俗話說，想法是廉價(jià)的，執(zhí)行就是一切。人們常這么說，這話也有道理。但我看到有人在 Twitter 上說，「如果想法這么廉價(jià) ，為什么沒人有想法呢？」我覺得這也是真的。
如果你從瓶頸的角度思考研究進(jìn)展，有幾個(gè)瓶頸。一個(gè)是想法，一個(gè)是將其實(shí)現(xiàn)的能力，這可能是算力，也可能是工程。如果你回到 90 年代，比如說，有些人有相當(dāng)好的想法，如果他們有更大的計(jì)算機(jī) ，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個(gè)非常非常小的演示，無法說服任何人。所以瓶頸是算力。
然后在擴(kuò)展時(shí)代，算力增加了很多。當(dāng)然，有一個(gè)問題是需要多少算力，但算力很大。算力大到足以證明某個(gè)想法，而不一定需要更多的算力。我給你一個(gè)類比。 AlexNet 是在兩個(gè) GPU 上構(gòu)建的。那是用于它的總算力。 Transformer 是在 8 到 64 個(gè) GPU 上構(gòu)建的。沒有哪個(gè) Transformer 論文的實(shí)驗(yàn)使用了超過 2017 年的 64 個(gè) GPU ，這就像是現(xiàn)在的兩個(gè) GPU？ResNet 也是吧？你可以爭(zhēng)辯說 o1 推理并不是世界上最耗費(fèi)算力的東西。
所以對(duì)于研究，你肯定需要一定量的算力，但這遠(yuǎn)不是說你需要有史以來絕對(duì)最大量的算力來進(jìn)行研究。你可能會(huì)爭(zhēng)辯，我也認(rèn)為是真的，如果你想構(gòu)建絕對(duì)最好的系統(tǒng) ，那么擁有更多的算力是有幫助的。特別是如果每個(gè)人都在同一個(gè)范式內(nèi) ，那么算力就成為巨大的差異化因素之一。
Dwarkesh Patel：我問你關(guān)于歷史的問題，是因?yàn)槟惝?dāng)時(shí)真的在場(chǎng) 。我不確定到底發(fā)生了什么。聽起來好像用極少量的算力就能發(fā)展這些想法。但 Transformer 并沒有立即成名。它是在更高算力水平上得到驗(yàn)證后，才成為每個(gè)人都開始做并在其基礎(chǔ)上進(jìn)行實(shí)驗(yàn)和構(gòu)建的東西。
Ilya Sutskever：正確。
Dwarkesh Patel：如果你在 SSI (Safe Superintelligence Inc.) 有 50 個(gè)不同的想法，如果沒有其他前沿實(shí)驗(yàn)室擁有的那種算力，你怎么知道哪個(gè)是下一個(gè) Transformer ，哪個(gè)是脆弱的？
Ilya Sutskever：我可以對(duì)此發(fā)表評(píng)論。簡(jiǎn)短的評(píng)論是，你提到了 SSI 。特別是對(duì)于我們來說， SSI 用于研究的算力其實(shí)并不小。我想解釋一下為什么。簡(jiǎn)單的數(shù)學(xué)可以解釋為什么我們擁有的算力用于研究比人們想象的要多。我會(huì)解釋。
SSI 籌集了 30 億美元，從絕對(duì)意義上講這是一筆巨款。但你可以說，「看看其他公司籌集的資金更多。」但他們很多算力都用于推理 (inference) 。這些大數(shù)字，這些大額貸款，是指定用于推理的。這是第一點(diǎn) 。第二點(diǎn) ，如果你想擁有一個(gè)進(jìn)行推理的產(chǎn)品，你需要擁有龐大的工程師團(tuán)隊(duì)、銷售人員。大量的研究需要致力于生產(chǎn)各種與產(chǎn)品相關(guān)的功能。所以當(dāng)你看看實(shí)際留給研究的資源時(shí) ，差異就變得小多了。
另一件事是，如果你在做不同的事情，你真的需要絕對(duì)最大的規(guī)模來證明它嗎？我一點(diǎn)也不認(rèn)為那是真的。我認(rèn)為在我們的案例中，我們有足夠的算力來證明，來說服我們自己和其他任何人，我們正在做的事情是正確的。
Dwarkesh Patel：有公開估計(jì)稱，像 OpenAI 這樣的公司僅在實(shí)驗(yàn)上每年就花費(fèi) 50-60 億美元。這還不包括他們?cè)谕评淼确矫娴闹С?。所以看起來他們每年在運(yùn)行研究實(shí)驗(yàn)上的花費(fèi)比你們的總資金還多。
Ilya Sutskever：我認(rèn)為這取決于你用它做什么。取決于你用它做什么。在他們的情況下，在其他人的情況下，對(duì)訓(xùn)練算力的需求要大得多。有更多不同的工作流，有不同的模態(tài) ，只是有更多的東西。所以它變得碎片化了。
Dwarkesh Patel： SSI 將如何賺錢？
Ilya Sutskever：我對(duì)這個(gè)問題的回答是這樣的。目前，我們只專注于研究，這個(gè)問題的答案自然會(huì)顯現(xiàn)出來。我認(rèn)為會(huì)有很多可能的答案。
Dwarkesh Patel： SSI 的計(jì)劃仍然是直通超級(jí)智能嗎？
Ilya Sutskever：也許吧。我認(rèn)為這是有價(jià)值的。我認(rèn)為這很有價(jià)值，因?yàn)椴皇苋粘Ｊ袌?chǎng)競(jìng)爭(zhēng)的影響非常好。但我認(rèn)為有兩個(gè)原因可能會(huì)導(dǎo)致我們要改變計(jì)劃。一個(gè)是務(wù)實(shí)的，如果時(shí)間線變得很長(zhǎng) ，這是有可能的。第二，我認(rèn)為最優(yōu)秀、最強(qiáng)大的 AI 能夠面世并影響世界是有巨大價(jià)值的。我認(rèn)為這本身是一件有意義且有價(jià)值的事情。
Dwarkesh Patel：那么為什么你的默認(rèn)計(jì)劃是直通超級(jí)智能？因?yàn)槁犉饋硐?OpenAI、Anthropic 這種公司，他們明確的想法是：「看，我們有越來越弱的智能讓公眾習(xí)慣并做好準(zhǔn)備。」為什么直接構(gòu)建超級(jí)智能可能更好？
Ilya Sutskever：我會(huì)陳述支持和反對(duì)的理由。支持的理由是，人們?cè)谑袌?chǎng)中面臨的挑戰(zhàn)之一是必須參與激烈的競(jìng)爭(zhēng) 。這種競(jìng)爭(zhēng)非常困難，因?yàn)樗屇忝媾R你需要做出的艱難權(quán)衡。說「我們將把自己與這一切隔絕開來，只專注于研究，只有當(dāng)我們準(zhǔn)備好了才出來，而不是在此之前」是很好的。但反方觀點(diǎn)也是有效的，這些是對(duì)立的力量。反方觀點(diǎn)是：「嘿，讓世界看到強(qiáng)大的 AI 是有用的。讓世界看到強(qiáng)大的 AI 是有用的，因?yàn)槟鞘悄銈鬟_(dá)它的唯一方式。」
Dwarkesh Patel：嗯，我想甚至不只是你可以傳達(dá)這個(gè)想法 ——
Ilya Sutskever：傳達(dá) AI ，而不是想法。傳達(dá) AI 本身。
Dwarkesh Patel：你說的「?jìng)鬟_(dá) AI」是什么意思？
Ilya Sutskever：假設(shè)你寫了一篇關(guān)于 AI 的文章，文章說：「AI 將會(huì)是這樣， AI 將會(huì)是那樣，它將會(huì)是這個(gè) 。」你讀了之后說：「好的，這是一篇有趣的文章。」現(xiàn)在假設(shè)你看到一個(gè) AI 做這個(gè) ，一個(gè) AI 做那個(gè) 。這是無法比較的。基本上我認(rèn)為 AI 出現(xiàn)在公眾面前有很大的好處，這也是我們不完全「直通」的一個(gè)理由。
Dwarkesh Patel：我想甚至不僅是那個(gè) ，但我確實(shí)認(rèn)為那是其中重要的一部分。另一件大事是，我想不出人類工程和研究中的其他學(xué)科，其最終產(chǎn)物主要是通過僅僅思考如何使其安全來變得更安全的，這不同于為什么如今每英里的飛機(jī)失事率比幾十年前低得多。為什么現(xiàn)在在 Linux 中發(fā)現(xiàn) Bug 比幾十年前難得多？我認(rèn)為這主要是因?yàn)檫@些系統(tǒng)被部署到了世界上。你注意到了故障，這些故障被糾正了，系統(tǒng)變得更加健壯。
我不確定為什么 AGI 和超人智能會(huì)有所不同，尤其是考慮到 —— 我希望我們會(huì)談到這個(gè) —— 看起來超級(jí)智能的危害不僅僅是關(guān)于外面有個(gè)惡意的曲別針制造者 (malevolent paper clipper) 。而是一個(gè)非常強(qiáng)大的東西，我們甚至不知道如何概念化人們與它的互動(dòng) ，人們會(huì)用它做什么。逐步接觸它似乎是分散其影響并幫助人們做好準(zhǔn)備的更好方式。
SSI 的模型將從部署中學(xué)習(xí)
Ilya Sutskever：嗯，我認(rèn)為關(guān)于這一點(diǎn) ，即使在直通方案中，你仍然會(huì)逐步發(fā)布它，我是這么設(shè)想的。漸進(jìn)主義將是任何計(jì)劃的固有組成部分。問題只是你推出的第一個(gè)東西是什么。這是第一點(diǎn) 。
第二點(diǎn) ，我相信你比其他人更提倡持續(xù)學(xué)習(xí) ，實(shí)際上我認(rèn)為這是一件重要且正確的事情。原因如下。我再舉一個(gè)語言如何影響思維的例子。在這種情況下，有兩個(gè)詞塑造了每個(gè)人的思維，我堅(jiān)持這么認(rèn)為。第一個(gè)詞：AGI (通用人工智能) 。第二個(gè)詞：預(yù)訓(xùn)練。讓我解釋一下。
AGI 這個(gè)詞，為什么存在？這是一個(gè)非常特定的術(shù)語。為什么它存在？這是有原因的。我認(rèn)為 AGI 這個(gè)詞之所以存在，與其說是因?yàn)樗悄撤N智能終極狀態(tài)的重要、本質(zhì)的描述，不如說它是對(duì)另一個(gè)存在的術(shù)語的反應(yīng) ，那個(gè)術(shù)語就是狹義 AI (narrow AI) 。如果你回顧游戲 AI、跳棋 AI、國(guó)際象棋 AI、電腦游戲 AI 的古代歷史，每個(gè)人都會(huì)說，看看這個(gè)狹義智能。確實(shí) ，國(guó)際象棋 AI 可以擊敗卡斯帕羅夫，但它做不了其他任何事。它是如此狹隘，人工狹義智能。所以作為對(duì)此的回應(yīng) ，有些人說，這不好。它太狹隘了。我們需要的是通用 AI ，一個(gè)可以做所有事情的 AI 。這個(gè)術(shù)語因此獲得了很多關(guān)注。
第二件獲得很多關(guān)注的事情是預(yù)訓(xùn)練，特別是預(yù)訓(xùn)練的配方。我認(rèn)為現(xiàn)在人們做 RL 的方式可能正在消除預(yù)訓(xùn)練的概念印記。但預(yù)訓(xùn)練有這個(gè)屬性。你做更多的預(yù)訓(xùn)練，模型在所有方面都會(huì)變得更好，或多或少是一致的。通用 AI 。預(yù)訓(xùn)練帶來 AGI 。
但在 AGI 和預(yù)訓(xùn)練上發(fā)生的事情是，在某種意義上它們偏離了目標(biāo) 。如果你思考「AGI」這個(gè)詞，特別是在預(yù)訓(xùn)練的語境下，你會(huì)意識(shí)到人類并不是一個(gè) AGI 。是的，肯定有技能基礎(chǔ) ，但人類缺乏大量的知識(shí) 。相反，我們依賴于持續(xù)學(xué)習(xí) 。
所以當(dāng)你思考，「好吧，假設(shè)我們?nèi)〉昧顺晒?，我們生產(chǎn)出了某種安全的超級(jí)智能。」問題是，你如何定義它？它在持續(xù)學(xué)習(xí)的曲線上處于什么位置？
我制造了一個(gè)超級(jí)智能的 15 歲少年，非常渴望去闖蕩。他們知道的不多，是個(gè)好學(xué)生，非常渴望。你去當(dāng)程序員，你去當(dāng)醫(yī)生，去學(xué)習(xí) 。所以你可以想象部署本身將涉及某種學(xué)習(xí)試錯(cuò)期。這是一個(gè)過程，而不是你扔出一個(gè)成品。
Dwarkesh Patel：我明白了。你的意思是，你指出的超級(jí)智能并不是某種已經(jīng)知道如何做經(jīng)濟(jì)中每一項(xiàng)工作的成品思維。因?yàn)?，比如最初的 OpenAI 章程或者其他什么對(duì) AGI 的定義是，它可以做每一項(xiàng)工作，人類能做的每一件事。你提議的是一種可以學(xué)習(xí)做每一項(xiàng)工作的思維，這就是超級(jí)智能。
Ilya Sutskever：是的。
Dwarkesh Patel：但是一旦你有了這個(gè)學(xué)習(xí)算法，它就會(huì)像人類勞動(dòng)力加入組織一樣被部署到世界上。
Ilya Sutskever：正是。
Dwarkesh Patel：似乎這兩種情況之一可能會(huì)發(fā)生，也許這兩種都不會(huì)發(fā)生。一種是，這種超高效的學(xué)習(xí)算法變得超人類，在 ML 研究任務(wù)上變得和你一樣好，甚至可能更好。結(jié)果算法本身變得越來越超人類。
另一種是，即使那沒有發(fā)生，如果你有一個(gè)單一的模型 —— 這明確是你的愿景 —— 在經(jīng)濟(jì)中部署做不同工作的模型實(shí)例，學(xué)習(xí)如何做這些工作，在工作中持續(xù)學(xué)習(xí) ，掌握任何人都能掌握的所有技能，但同時(shí)掌握所有技能，然后合并它們的學(xué)習(xí)成果，你基本上就有了一個(gè)在功能上變得超級(jí)智能的模型，甚至不需要軟件上的任何遞歸自我改進(jìn) 。因?yàn)槟悻F(xiàn)在有一個(gè)模型可以做經(jīng)濟(jì)中的每一項(xiàng)工作，而人類無法以同樣的方式合并我們的思維。所以你預(yù)期通過廣泛部署會(huì)發(fā)生某種智能爆炸嗎？
Ilya Sutskever：我認(rèn)為很有可能會(huì)有快速的經(jīng)濟(jì)增長(zhǎng) 。我認(rèn)為隨著廣泛部署，你可以提出兩個(gè)相互沖突的論點(diǎn) 。一個(gè)是，一旦你真的到了擁有一個(gè)可以快速學(xué)習(xí)做事的 AI 并且你有很多這樣的 AI 的地步，那么除非有某種法規(guī)阻止它（順便說一句，可能會(huì)有），否則將會(huì)有強(qiáng)大的力量將其部署到經(jīng)濟(jì)中。
但是，通過廣泛部署在一段時(shí)間內(nèi)實(shí)現(xiàn)非常快速的經(jīng)濟(jì)增長(zhǎng)的想法，我認(rèn)為是非常可能的。問題是它會(huì)有多快。我認(rèn)為這很難知道，因?yàn)橐环矫婺阌羞@個(gè)非常高效的工人。另一方面，世界真的很大，有很多東西，那些東西以不同的速度移動(dòng) 。但另一方面，現(xiàn)在 AI 可以…… 所以我認(rèn)為非常快速的經(jīng)濟(jì)增長(zhǎng)是可能的。我們會(huì)看到各種各樣的事情，比如不同的國(guó)家有不同的規(guī)則，那些規(guī)則更友好的國(guó)家，經(jīng)濟(jì)增長(zhǎng)會(huì)更快。很難預(yù)測(cè) 。
對(duì)齊
Dwarkesh Patel：在我看來，這是一個(gè)非常危險(xiǎn)的處境。在極限情況下，我們知道這應(yīng)該是可能的。如果你有某種東西在學(xué)習(xí)上和人類一樣好，但它可以合并它的大腦 —— 合并不同的實(shí)例，這在物理上似乎是可能的。人類是可能的，數(shù)字計(jì)算機(jī)是可能的。你只需要將兩者結(jié)合起來就能產(chǎn)生這個(gè)東西。
這東西似乎也極其強(qiáng)大。經(jīng)濟(jì)增長(zhǎng)是一種說法。戴森球 (Dyson sphere) 是大量的經(jīng)濟(jì)增長(zhǎng) 。但另一種說法是，你將在可能非常短的時(shí)間內(nèi)擁有…… 你在 SSI 雇人，六個(gè)月后，他們的凈產(chǎn)出可能就是正的了。人類學(xué)得真的很快，而這東西變聰明的速度非常快。你如何思考讓這一切順利進(jìn)行？為什么 SSI 定位能做好這件事？SSI 在這方面的計(jì)劃是什么，這基本上就是我想問的。
Ilya Sutskever：我的想法發(fā)生變化的一個(gè)方面是，我現(xiàn)在更加重視 AI 的增量部署和提前部署。關(guān)于 AI 的一件非常困難的事情是，我們談?wù)摰氖巧胁淮嬖诘南到y(tǒng) ，很難想象它們。
我認(rèn)為正在發(fā)生的一件事是，實(shí)際上很難感受到 AGI 。很難感受到 AGI 。我們可以談?wù)撍?，但想象一下，當(dāng)你年老體衰時(shí) ，談?wù)撃昀鲜鞘裁锤杏X 。你可以談?wù)?，你可以試著想象，但這很難，你回到現(xiàn)實(shí) ，那并不是事實(shí) 。我認(rèn)為很多關(guān)于 AGI 及其未來力量的問題源于很難想象。未來的 AI 將會(huì)不同。它將會(huì)很強(qiáng)大。確實(shí) ， AI 和 AGI 的整個(gè)問題是什么？整個(gè)問題就是力量。整個(gè)問題就是力量。
當(dāng)力量真的很大時(shí) ，會(huì)發(fā)生什么？我在過去一年中改變主意的一個(gè)方面 —— 這種改變可能會(huì)反向傳播到我們公司的計(jì)劃中 —— 是如果很難想象，你該怎么辦？你必須展示這個(gè)東西。你必須展示這個(gè)東西。我堅(jiān)持認(rèn)為，大多數(shù)從事 AI 工作的人也無法想象它，因?yàn)樗c人們?nèi)粘？吹降臇|西太不同了。
我確實(shí)堅(jiān)持，這是我預(yù)測(cè)會(huì)發(fā)生的事情。這是一個(gè)預(yù)測(cè) 。我堅(jiān)持認(rèn)為，隨著 AI 變得更強(qiáng)大，人們會(huì)改變他們的行為。我們將看到各種前所未有的事情，這些事情現(xiàn)在還沒有發(fā)生。我舉幾個(gè)例子。我認(rèn)為無論好壞，前沿公司將在發(fā)生的事情中扮演非常重要的角色，政府也是如此。我認(rèn)為你會(huì)看到的那種事情，你已經(jīng)看到了開端，就是激烈的競(jìng)爭(zhēng)對(duì)手開始在 AI 安全方面進(jìn)行合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出了第一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預(yù)測(cè)的事情，這樣的事情將會(huì)發(fā)生。我也堅(jiān)持認(rèn)為，隨著 AI 繼續(xù)變得更強(qiáng)大，更明顯地強(qiáng)大，政府和公眾也會(huì)渴望做點(diǎn)什么。我認(rèn)為展示 AI 是一個(gè)非常重要的力量。
這是第一點(diǎn) 。第二點(diǎn) ，好吧，所以 AI 正在被構(gòu)建。需要做什么？我堅(jiān)持會(huì)發(fā)生的一件事是，現(xiàn)在從事 AI 工作的人，我堅(jiān)持認(rèn)為 AI 不讓人覺得強(qiáng)大是因?yàn)樗腻e(cuò)誤。我確實(shí)認(rèn)為在某個(gè)時(shí)候 AI 會(huì)開始讓人覺得強(qiáng)大。我認(rèn)為當(dāng)那一刻發(fā)生時(shí) ，我們會(huì)看到所有 AI 公司在安全方法上的巨大變化。他們會(huì)變得更加偏執(zhí) 。我說這是一個(gè)預(yù)測(cè) ，我們會(huì)看到它發(fā)生。我們要看看我是否正確。但我認(rèn)為這是將會(huì)發(fā)生的事情，因?yàn)樗麄儠?huì)看到 AI 變得更強(qiáng)大。我現(xiàn)在堅(jiān)持認(rèn)為，目前發(fā)生的一切都是因?yàn)槿藗兛粗裉斓?AI ，很難想象未來的 AI 。
還有第三件事需要發(fā)生。我是在更廣泛的層面上談?wù)撍?，而不僅僅是從 SSI 的角度，因?yàn)槟銌柕搅宋覀児?。問題是，公司應(yīng)該渴望建立什么？他們應(yīng)該渴望建立什么？有一個(gè)每個(gè)人都被鎖定的想法，那就是自我改進(jìn)的 AI 。為什么會(huì)發(fā)生這種情況？因?yàn)橄敕ū裙旧?。但我堅(jiān)持認(rèn)為有更好的東西可以建立，我認(rèn)為每個(gè)人都會(huì)想要那個(gè) 。
那就是穩(wěn)健地對(duì)齊以關(guān)愛感知生命 (sentient life) 的 AI 。我認(rèn)為特別是有理由認(rèn)為，建立一個(gè)關(guān)愛感知生命的 AI 比建立一個(gè)只關(guān)愛人類生命的 AI 更容易，因?yàn)?AI 本身也是有感知的。如果你思考像鏡像神經(jīng)元 (mirror neurons) 和人類對(duì)動(dòng)物的同理心這樣的事情，你可能會(huì)說這不夠大，但它存在。我認(rèn)為這是一種涌現(xiàn)屬性，源于我們用模擬自己的同一套回路來模擬他人，因?yàn)檫@是最高效的做法。
Dwarkesh Patel：所以即使你讓 AI 關(guān)愛感知生命 —— 如果你解決了對(duì)齊 (alignment) ，我不清楚這是否是你應(yīng)該嘗試做的 —— 仍然會(huì)是這樣，大多數(shù)感知生命將是 AI 。最終會(huì)有數(shù)萬億、千萬億的 AI 。人類將只是感知生命的一小部分。所以如果不清楚目標(biāo)是否是對(duì)這個(gè)未來文明的某種人類控制，我不清楚這是否是最好的標(biāo)準(zhǔn) 。
Ilya Sutskever：這是真的。這可能不是最好的標(biāo)準(zhǔn) 。我會(huì)說兩件事。第一，關(guān)愛感知生命，我認(rèn)為這有其優(yōu)點(diǎn) 。應(yīng)該加以考慮。如果有某種短名單，列出公司在這種情況下可以使用的想法，那會(huì)有所幫助。這是第二點(diǎn) 。
第三，我認(rèn)為如果最強(qiáng)大的超級(jí)智能的力量在某種程度上受到限制，那將會(huì)有實(shí)質(zhì)性的幫助，因?yàn)檫@將解決很多這些擔(dān)憂。關(guān)于如何做到這一點(diǎn) ，我不確定，但我認(rèn)為當(dāng)你談?wù)摲浅７浅?qiáng)大的系統(tǒng)時(shí) ，那將會(huì)有實(shí)質(zhì)性的幫助。
Dwarkesh Patel：在我們繼續(xù)討論對(duì)齊之前，我想深入探討一下。頂層還有多少空間？你如何看待超級(jí)智能？你是否認(rèn)為，使用這個(gè)學(xué)習(xí)效率的想法，也許它只是在學(xué)習(xí)新技能或新知識(shí)方面極快？它是否只是擁有更大的策略池？中心是否有一個(gè)單一的、有凝聚力的「它」更強(qiáng)大或更大？如果是這樣，你是否想象這將與其余人類文明相比像神一樣，或者它只是感覺像另一個(gè)智能體，或者另一組智能體？
Ilya Sutskever：在這個(gè)領(lǐng)域，不同的人有不同的直覺。我認(rèn)為它肯定會(huì)非常強(qiáng)大。我認(rèn)為最有可能發(fā)生的是，大約在同一時(shí)間會(huì)有多個(gè)這樣的 AI 被創(chuàng)造出來。我認(rèn)為如果集群足夠大 —— 比如如果集群實(shí)際上是大陸規(guī)模的 —— 那個(gè)東西確實(shí)可能非常強(qiáng)大。如果你真的擁有一個(gè)大陸規(guī)模的集群，那些 AI 可能會(huì)非常強(qiáng)大。我能告訴你的是，如果你談?wù)摰氖菢O其強(qiáng)大的 AI ，真正極其強(qiáng)大的，如果它們能受到某種方式的限制，或者有某種協(xié)議之類的東西，那就太好了。
對(duì)超級(jí)智能的擔(dān)憂是什么？解釋這種擔(dān)憂的一種方式是什么？如果你想象一個(gè)足夠強(qiáng)大的系統(tǒng) ，真的足夠強(qiáng)大 —— 你可以說你需要做一些明智的事情，比如非常一心一意地關(guān)愛感知生命 —— 我們可能不喜歡其結(jié)果。這真的就是它的本質(zhì) 。
順便說一句，也許答案是你不要建立一個(gè)通常意義上的 RL 智能體。我要指出幾件事。我認(rèn)為人類是半 RL 智能體。我們要追求獎(jiǎng)勵(lì) ，然后情緒或其他什么東西讓我們對(duì)獎(jiǎng)勵(lì)感到厭倦，我們追求不同的獎(jiǎng)勵(lì) 。市場(chǎng)是一種非常短視的智能體。進(jìn)化也是一樣的。進(jìn)化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設(shè)計(jì)成三個(gè)部分之間永無休止的斗爭(zhēng) ，這產(chǎn)生了影響。所以我認(rèn)為像這樣的事情。
另一件讓這個(gè)討論變得困難的事情是，我們談?wù)摰氖遣淮嬖诘南到y(tǒng) ，我們不知道如何構(gòu)建。這是另一件事，這實(shí)際上是我的信念。我認(rèn)為人們現(xiàn)在正在做的事情會(huì)走一段距離，然后逐漸平息。它會(huì)繼續(xù)改進(jìn) ，但它也不會(huì)是「那個(gè)東西」。「那個(gè)東西」我們還不知道怎么造，很大程度上取決于理解可靠的泛化。
我還要說一件事。你可以說導(dǎo)致對(duì)齊困難的原因之一是，你學(xué)習(xí)人類價(jià)值觀的能力是脆弱的。然后你優(yōu)化它們的能力是脆弱的。你實(shí)際上學(xué)會(huì)了去優(yōu)化它們。難道你不能說，「這些不都是不可靠泛化的例子嗎？」為什么人類似乎泛化得這么好？如果泛化好得多呢？這種情況下會(huì)發(fā)生什么？會(huì)有什么影響？但這些問題目前仍然無法回答。
Dwarkesh Patel：人們?nèi)绾嗡伎?AI 順利發(fā)展是什么樣子的？你已經(jīng)勾勒出了 AI 可能如何進(jìn)化。我們將擁有這些某種持續(xù)學(xué)習(xí)的智能體。 AI 將非常強(qiáng)大。也許會(huì)有許多不同的 AI 。你如何看待許多大陸規(guī)模的計(jì)算智能四處游走？那有多危險(xiǎn)？我們?nèi)绾巫屗兊貌荒敲次ｋU(xiǎn)？我們?nèi)绾我砸环N保護(hù)平衡的方式做到這一點(diǎn) ，而在這種平衡中可能會(huì)有未對(duì)齊的 AI 和壞人？
Ilya Sutskever：這是我喜歡「關(guān)愛感知生命的 AI」的一個(gè)原因。我們可以爭(zhēng)論它是好是壞。但如果前 N 個(gè)這樣的強(qiáng)大系統(tǒng)確實(shí)關(guān)愛、熱愛人類或什么的，關(guān)愛感知生命，顯然這也是需要實(shí)現(xiàn)的。這是需要實(shí)現(xiàn)的。所以如果這由前 N 個(gè)這樣的系統(tǒng)實(shí)現(xiàn) ，那么我可以看到它進(jìn)展順利，至少在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi) 。
然后是長(zhǎng)期會(huì)發(fā)生什么的問題。你如何實(shí)現(xiàn)長(zhǎng)期均衡？我認(rèn)為那里也有一個(gè)答案。我不喜歡這個(gè)答案，但需要加以考慮。
從長(zhǎng)遠(yuǎn)來看，你可能會(huì)說：「好吧，如果你有一個(gè)強(qiáng)大的 AI 存在的世界，在短期內(nèi) ，你可以說你有普遍的高收入。你有普遍的高收入，我們都過得很好。」但佛教徒怎么說？「無常是唯一的常態(tài) 。」事情在變化。有某種政府、政治結(jié)構(gòu)的東西，它在變化，因?yàn)檫@些東西有保質(zhì)期。一些新的政府事物出現(xiàn)并運(yùn)作，然后過了一段時(shí)間它停止運(yùn)作。這是我們一直看到發(fā)生的事情。
所以我認(rèn)為對(duì)于長(zhǎng)期均衡，一種方法是你可以說也許每個(gè)人都會(huì)有一個(gè)聽命于他們的 AI ，這很好。如果這能無限期維持下去，那是真的。但缺點(diǎn)是 AI 去為那個(gè)人賺錢，在政治領(lǐng)域倡導(dǎo)他們的需求，也許然后寫一份小報(bào)告說：「好吧，這是我所做的，這是情況，」那個(gè)人說：「太棒了，繼續(xù)保持。」但那個(gè)人不再是參與者了。那么你可以說那是一個(gè)危險(xiǎn)的境地。
我要先說我不喜歡這個(gè)解決方案，但它是一個(gè)解決方案。解決方案是如果人們通過某種 Neuralink++ 變成半 AI 。因?yàn)榻Y(jié)果將會(huì)是現(xiàn)在 AI 理解了一些東西，我們也理解了它，因?yàn)楝F(xiàn)在理解是全盤傳遞的。所以現(xiàn)在如果 AI 處于某種情況，你自己也完全參與了那種情況。我認(rèn)為這是均衡的答案。
Dwarkesh Patel：我想知道，數(shù)百萬年 —— 或者在許多情況下，數(shù)十億年 —— 前在一個(gè)完全不同的環(huán)境中發(fā)展起來的情緒仍然如此強(qiáng)烈地指導(dǎo)著我們的行動(dòng) ，這是否是對(duì)齊成功的一個(gè)例子。
為了說明我的意思 —— 我不知道稱之為價(jià)值函數(shù)還是獎(jiǎng)勵(lì)函數(shù)更準(zhǔn)確 —— 但腦干 (brainstem) 有一個(gè)指令，說：「與更成功的人交配。」皮層 (cortex) 是理解現(xiàn)代背景下成功意味著什么的部分。但腦干能夠?qū)R皮層并說：「無論你認(rèn)為成功是什么 —— 我不夠聰明去理解那是什么 —— 你仍然要追求這個(gè)指令。」
Ilya Sutskever：我認(rèn)為還有一個(gè)更普遍的觀點(diǎn) 。我認(rèn)為進(jìn)化如何編碼高層欲望實(shí)際上真的很神秘。很容易理解進(jìn)化如何賦予我們對(duì)聞起來好的食物的欲望，因?yàn)闅馕妒且环N化學(xué)物質(zhì) ，所以只需追求那種化學(xué)物質(zhì) 。很容易想象進(jìn)化做那件事。
但進(jìn)化也賦予了我們所有這些社會(huì)欲望。我們真的在乎被社會(huì)積極看待。我們?cè)诤鯎碛辛己玫牡匚?。我們擁有的所有這些社會(huì)直覺，我強(qiáng)烈感覺它們是內(nèi)置的。我不知道進(jìn)化是怎么做到的，因?yàn)樗且粋€(gè)在大腦中表現(xiàn)的高層概念。
比如說你在乎某種社會(huì)事物，它不像氣味那樣是低層信號(hào) 。它不是某種有傳感器的東西。大腦需要做大量的處理來拼湊大量的信息位以理解社會(huì)上正在發(fā)生什么。不知何故進(jìn)化說：「那就是你應(yīng)該關(guān)心的。」它是怎么做到的？
它做得也很快。我們關(guān)心的所有這些復(fù)雜的社會(huì)事物，我認(rèn)為它們進(jìn)化得相當(dāng)晚近。進(jìn)化很容易就硬編碼了這種高層欲望。我不知道有什么好的假設(shè)能解釋它是如何完成的。我有一些反復(fù)思考的想法，但沒有一個(gè)是令人滿意的。
Dwarkesh Patel：特別令人印象深刻的是，它是你在有生之年學(xué)到的欲望，這說得通，因?yàn)槟愕拇竽X是智能的。你能夠?qū)W習(xí)智能欲望是說得通的。也許這不是你的觀點(diǎn) ，但理解它的一種方式是，欲望內(nèi)置在基因組中，而基因組并不智能。但你不知何故能夠描述這個(gè)特征。甚至不清楚你是如何定義那個(gè)特征的，你卻可以把它構(gòu)建到基因里。
Ilya Sutskever：基本上是這樣，或者也許我會(huì)換種說法。如果你思考基因組可用的工具，它說：「好吧，這是一個(gè)構(gòu)建大腦的配方。」你可以說：「這是一個(gè)將多巴胺神經(jīng)元連接到氣味傳感器的配方。」如果氣味是某種好聞的氣味，你想吃那個(gè) 。
我可以想象基因組做那件事。我聲稱更難想象的是。更難想象的是基因組說你應(yīng)該關(guān)心某個(gè)復(fù)雜的計(jì)算，而這個(gè)計(jì)算是你整個(gè)大腦、大腦的一大塊在做的。這就是我所聲稱的一切。我可以告訴你一個(gè)關(guān)于它是如何做到的推測(cè) ，我會(huì)解釋為什么這個(gè)推測(cè)可能是錯(cuò)誤的。
大腦有腦區(qū) 。我們有我們的皮層。它有所有那些腦區(qū) 。皮層是均勻的，但皮層中的腦區(qū)和神經(jīng)元大多與它們的鄰居交談。這就解釋了為什么會(huì)有腦區(qū) 。因?yàn)槿绻阆胱瞿撤N語音處理，所有做語音的神經(jīng)元都需要彼此交談。因?yàn)樯窠?jīng)元只能與它們附近的鄰居交談，在大多數(shù)情況下，它必須是一個(gè)區(qū)域。
所有區(qū)域在人與人之間大多位于同一個(gè)地方。所以也許進(jìn)化硬編碼了大腦上的一個(gè)字面位置。所以它說：「哦，當(dāng)大腦的 GPS 坐標(biāo)某某某，當(dāng)那里放電時(shí) ，那就是你應(yīng)該關(guān)心的。」也許那是進(jìn)化所做的，因?yàn)槟菚?huì)在進(jìn)化的工具箱之內(nèi) 。
Dwarkesh Patel：是的，盡管有一些例子，例如天生失明的人，他們皮層的那塊區(qū)域被另一種感官征用了。我不知道，但我會(huì)很驚訝如果需要視覺信號(hào)的欲望或獎(jiǎng)勵(lì)函數(shù)對(duì)于那些皮層不同區(qū)域被征用的人不再起作用。
例如，如果你不再有視覺，你是否還能感覺到希望周圍人喜歡我之類的感覺，這通常也有視覺線索。
Ilya Sutskever：我完全同意這一點(diǎn) 。我認(rèn)為對(duì)這個(gè)理論還有一個(gè)更強(qiáng)的反駁。有些人在童年時(shí)期切除了一半大腦，他們?nèi)匀粨碛兴械哪X區(qū) 。但不知何故它們都移動(dòng)到了一個(gè)半球，這表明腦區(qū)的位置不是固定的，所以那個(gè)理論是不正確的。
如果是真的那就太酷了，但事實(shí)并非如此。所以我認(rèn)為這是一個(gè)謎。但這是一個(gè)有趣的謎。事實(shí)是，不知何故進(jìn)化能夠賦予我們非常非常可靠地關(guān)心社會(huì)東西的能力。即使是有各種奇怪的心理狀況、缺陷和情緒問題的人，往往也關(guān)心這個(gè) 。
「我們是一家純正的『研究時(shí)代』公司」
Dwarkesh Patel： SSI 計(jì)劃做什么不同的事情？據(jù)推測(cè) ，當(dāng)這個(gè)時(shí)刻到來時(shí) ，你的計(jì)劃是成為前沿公司之一。據(jù)推測(cè) ，你創(chuàng)辦 SSI 是因?yàn)槟阆耄骸肝矣X得我有辦法安全地做這件事，而其他公司沒有。」這種區(qū)別是什么？
Ilya Sutskever：我會(huì)這樣描述它：我認(rèn)為有些想法是有希望的，我想調(diào)查它們，看看它們是否確實(shí)有希望。真的就這么簡(jiǎn)單。這是一個(gè)嘗試。如果這些想法被證明是正確的 —— 我們討論過的關(guān)于理解泛化的這些想法 —— 那么我認(rèn)為我們將擁有有價(jià)值的東西。
它們會(huì)被證明是正確的嗎？我們?cè)谧鲅芯?。我們是一家純正的「研究時(shí)代」公司。我們正在取得進(jìn)展。我們?cè)谶^去的一年里實(shí)際上取得了相當(dāng)好的進(jìn)展，但我們需要繼續(xù)取得更多進(jìn)展，更多研究。我是這么看的。我看作是一種嘗試成為一個(gè)聲音和參與者的努力。
Dwarkesh Patel：你的聯(lián)合創(chuàng)始人兼前 CEO 最近離開去了 Meta ，人們問：「好吧，如果有大量的突破正在發(fā)生，那似乎是一件不太可能發(fā)生的事情。」我想知道你怎么回應(yīng) 。
Ilya Sutskever：對(duì)此，我只想提醒幾個(gè)可能已被遺忘的事實(shí) 。我認(rèn)為這些提供背景的事實(shí)解釋了情況。背景是我們?cè)谝?320 億美元的估值融資，然后 Meta 進(jìn)來提議收購(gòu)我們，我拒絕了。但我的前聯(lián)合創(chuàng)始人在某種意義上說是同意了。結(jié)果，他也能夠享受到大量的近期流動(dòng)性，他是唯一從 SSI 加入 Meta 的人。
Dwarkesh Patel：聽起來 SSI 的計(jì)劃是，當(dāng)你到達(dá)人類歷史上這個(gè)擁有超人智能的非常重要時(shí)期時(shí) ，成為一家處于前沿的公司。你對(duì)如何讓超人智能順利發(fā)展有這些想法。但其他公司也會(huì)嘗試他們自己的想法。 SSI 在讓超級(jí)智能順利發(fā)展的方法上有什么與眾不同之處？
Ilya Sutskever：區(qū)別 SSI 的主要是其技術(shù)方法。我們有不同的技術(shù)方法，我認(rèn)為這很有價(jià)值，我們正在追求它。
我堅(jiān)持認(rèn)為最終會(huì)有策略的趨同。我認(rèn)為會(huì)有策略的趨同，在某種程度上，隨著 AI 變得更強(qiáng)大，對(duì)每個(gè)人來說應(yīng)該采取什么策略會(huì)變得或多或少清晰。這應(yīng)該是類似這樣的：你需要找到某種方式彼此交談，你希望你的第一個(gè)真正的超級(jí)智能 AI 是對(duì)齊的，并在某種程度上關(guān)愛感知生命，關(guān)愛人類，民主的，其中之一，或者某種組合。
我認(rèn)為這是每個(gè)人都應(yīng)該爭(zhēng)取的條件。這就是 SSI 正在爭(zhēng)取的。我認(rèn)為這一次，如果還沒發(fā)生的話，所有其他公司都會(huì)意識(shí)到他們正在朝著同一個(gè)目標(biāo)努力。我們會(huì)看到的。我認(rèn)為隨著 AI 變得更強(qiáng)大，世界將真正改變。我認(rèn)為事情會(huì)真的很不同，人們的行為也會(huì)真的很不同。
Dwarkesh Patel：說到預(yù)測(cè) ，你對(duì)你描述的這個(gè)系統(tǒng)有什么預(yù)測(cè)？這個(gè)系統(tǒng)可以像人類一樣學(xué)習(xí) ，隨后作為結(jié)果變得超人類？
Ilya Sutskever：我想大概 5 到 20 年。
Dwarkesh Patel： 5 到 20 年？
Ilya Sutskever：嗯。
Dwarkesh Patel：我只想展開你眼中的未來是如何到來的。就像是，我們還有幾年時(shí)間，其他公司繼續(xù)目前的方法并停滯不前。「停滯不前」在這里意味著他們的收入不超過幾千億美元？你如何看待停滯不前意味著什么？
Ilya Sutskever：我認(rèn)為停滯不前看起來會(huì)像…… 所有不同的公司看起來都會(huì)非常相似。可能是這樣的。我不確定，因?yàn)槲艺J(rèn)為即使停滯不前，我認(rèn)為這些公司也能賺取驚人的收入。也許不是利潤(rùn) ，因?yàn)樗麄冃枰ぷ饕允棺约罕舜藚^(qū)分開來，但收入肯定有。
Dwarkesh Patel：但在你的模型中暗示，當(dāng)正確的解決方案確實(shí)出現(xiàn)時(shí) ，所有公司之間會(huì)有趨同。我很好奇你為什么認(rèn)為會(huì)是這樣。
Ilya Sutskever：我更多是在談?wù)搶?duì)齊策略的趨同。我認(rèn)為技術(shù)方法的最終趨同可能也會(huì)發(fā)生，但我指的是對(duì)齊策略的趨同。到底應(yīng)該做什么？
Dwarkesh Patel：我只想更好地理解你如何看待未來的展開。目前，我們有這些不同的公司，你預(yù)期他們的方法會(huì)繼續(xù)產(chǎn)生收入，但達(dá)不到這種類人學(xué)習(xí)者。所以現(xiàn)在我們有這些不同的公司分支。有你們，有 Thinking Machines ，還有一堆其他實(shí)驗(yàn)室。也許其中一個(gè)找出了正確的方法。但隨后他們產(chǎn)品的發(fā)布讓其他人清楚了如何做這件事。
Ilya Sutskever：我認(rèn)為并不清楚如何做，但會(huì)清楚有些不同的東西是可能的，這就是信息。人們隨后會(huì)試圖弄清楚那是如何工作的。不過我確實(shí)認(rèn)為，這里沒有提到、沒有討論的一件事是，隨著 AI 能力的每一次增加，我認(rèn)為會(huì)有某種變化 —— 但我不知道具體是哪些 —— 在事情的做法上。我認(rèn)為這將會(huì)很重要，但我無法拼寫出那到底是什么。
Dwarkesh Patel：默認(rèn)情況下，你會(huì)預(yù)期擁有那個(gè)模型的公司會(huì)獲得所有這些收益，因?yàn)樗麄儞碛械哪Ｐ驼谑澜缟戏e累技能和知識(shí) 。有什么理由認(rèn)為這帶來的好處會(huì)被廣泛分配，而不僅僅是最終落入無論哪家最先讓這個(gè)持續(xù)學(xué)習(xí)循環(huán)運(yùn)轉(zhuǎn)起來的模型公司手中？
Ilya Sutskever：我認(rèn)為這是將會(huì)發(fā)生的事情。第一，讓我們看看過去的 AI 是如何發(fā)展的。一家公司取得了一個(gè)進(jìn)展，另一家公司爭(zhēng)先恐后，在一段時(shí)間后生產(chǎn)出了一些類似的東西，他們開始在市場(chǎng)上競(jìng)爭(zhēng)并將價(jià)格壓低。所以我認(rèn)為從市場(chǎng)的角度來看，類似的事情也會(huì)發(fā)生在那里。
順便說一句，我們談?wù)摰氖敲篮玫氖澜?。什么是美好的世界？就是我們擁有這些強(qiáng)大的類人學(xué)習(xí)者，它們也…… 順便說一句，也許還有另一件事我們還沒討論過，關(guān)于超級(jí)智能 AI 的規(guī)格，我認(rèn)為值得考慮。那就是你讓它變窄，它可以同時(shí)有用且窄。你可以有很多狹義的超級(jí)智能 AI 。
但假設(shè)你有很多這樣的 AI ，有一家公司從中賺取了大量利潤(rùn) 。然后你有另一家公司進(jìn)來開始競(jìng)爭(zhēng) 。競(jìng)爭(zhēng)運(yùn)作的方式是通過專業(yè)化。競(jìng)爭(zhēng)喜歡專業(yè)化。你在市場(chǎng)上看到這一點(diǎn) ，在進(jìn)化中也看到這一點(diǎn) 。你會(huì)有很多不同的生態(tài)位，你會(huì)有很多不同的公司占據(jù)不同的生態(tài)位。在這個(gè)世界上，我們可能會(huì)說一家 AI 公司在某個(gè)非常復(fù)雜的經(jīng)濟(jì)活動(dòng)領(lǐng)域真的要好得多，而另一家公司在另一個(gè)領(lǐng)域更好。第三家公司在訴訟方面非常擅長(zhǎng) 。
Dwarkesh Patel：這難道不與類人學(xué)習(xí)所暗示的相矛盾嗎？它是它可以學(xué)習(xí)……
Ilya Sutskever：它是可以，但你有積累的學(xué)習(xí) 。你有巨大的投資。你花了很多算力才在這件事上變得真的、真的很好，真的非凡。別人花了很多算力和很多經(jīng)驗(yàn)才在其他事情上變得真的很好。你應(yīng)用了大量的人類學(xué)習(xí)才到達(dá)那里，但現(xiàn)在你處于這個(gè)高點(diǎn) ，別人會(huì)說：「看，我不想從頭開始學(xué)你已經(jīng)學(xué)過的東西。」
Dwarkesh Patel：我想這需要許多不同的公司同時(shí)開始擁有類人持續(xù)學(xué)習(xí)智能體，這樣他們就可以在不同的分支開始他們不同的樹搜索。但是如果一家公司先得到那個(gè)智能體，或者先得到那個(gè)學(xué)習(xí)者，那似乎就像…… 好吧，如果你只考慮經(jīng)濟(jì)中的每一項(xiàng)工作，讓一個(gè)實(shí)例學(xué)習(xí)每一項(xiàng)工作對(duì)于一家公司來說似乎是可行的。
Ilya Sutskever：這是一個(gè)有效的論點(diǎn) 。我的強(qiáng)烈直覺是，事情不會(huì)那樣發(fā)展。論點(diǎn)說它會(huì)那樣發(fā)展，但我的強(qiáng)烈直覺是它不會(huì)那樣發(fā)展。在理論上，理論和實(shí)踐沒有區(qū)別。在實(shí)踐中，是有區(qū)別的。我認(rèn)為這將是其中之一。
Dwarkesh Patel：很多人的遞歸自我改進(jìn)模型字面上明確指出，我們將在服務(wù)器里擁有以百萬計(jì)的 Ilya ，提出不同的想法，這將導(dǎo)致超級(jí)智能非常快地涌現(xiàn) 。
你對(duì)自己正在做的事情的可并行性有什么直覺嗎？復(fù)制 Ilya 的收益是什么？
Ilya Sutskever：我不知道。我認(rèn)為肯定會(huì)有收益遞減，因?yàn)槟阈枰氖撬季S不同的人，而不是相同的人。如果有我的字面副本，我不確定你會(huì)獲得多少增量?jī)r(jià)值。思維不同的人，那才是你想要的。
自我對(duì)弈與多智能體
Dwarkesh Patel：為什么如果你看不同的模型，即使是由完全不同的公司發(fā)布的，在可能不重疊的數(shù)據(jù)集上訓(xùn)練的， LLM 彼此之間實(shí)際上相似得瘋狂？
Ilya Sutskever：也許數(shù)據(jù)集并沒有看起來那么不重疊。
Dwarkesh Patel：但即使個(gè)人人類可能不如未來的 AI 生產(chǎn)力高，某種意義上，人類團(tuán)隊(duì)比 AI 團(tuán)隊(duì)擁有更多的多樣性，這也許是有道理的。我們?nèi)绾我l(fā) AI 之間有意義的多樣性？我認(rèn)為僅僅提高溫度 (temperature) 只會(huì)導(dǎo)致胡言亂語。你想要更像是不同的科學(xué)家有不同的偏見或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？
Ilya Sutskever：所以，之所以沒有多樣性，我相信是因?yàn)轭A(yù)訓(xùn)練。所有預(yù)訓(xùn)練模型幾乎都是一樣的，因?yàn)樗鼈冊(cè)谙嗤臄?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。現(xiàn)在 RL 和后訓(xùn)練 (post-training) 是開始出現(xiàn)一些分化的地方，因?yàn)椴煌娜讼氤隽瞬煌?RL 訓(xùn)練。
Dwarkesh Patel：我聽說你過去暗示過關(guān)于自我對(duì)弈 (self-play) 作為一種獲取數(shù)據(jù)或?qū)⒅悄荏w與同等智能的其他智能體匹配以啟動(dòng)學(xué)習(xí)的方式。我們應(yīng)該如何思考為什么沒有這種東西在 LLM 上起作用的公開提議？
Ilya Sutskever：我想說有兩點(diǎn) 。我認(rèn)為自我對(duì)弈有趣的原因是它提供了一種僅使用算力而不使用數(shù)據(jù)來創(chuàng)建模型的方法。如果你認(rèn)為數(shù)據(jù)是最終瓶頸，那么僅使用算力就非常有趣。所以這就是它有趣的地方。
問題在于自我對(duì)弈，至少在過去的做法中 —— 當(dāng)你有彼此競(jìng)爭(zhēng)的智能體時(shí) —— 它只對(duì)發(fā)展特定的一套技能有好處。它太狹隘了。它只對(duì)談判、沖突、某些社交技能、制定策略這類東西有好處。如果你關(guān)心這些技能，那么自我對(duì)弈將是有用的。
實(shí)際上，我認(rèn)為自我對(duì)弈確實(shí)找到了歸宿，只是形式不同。所以像辯論、證明者 - 驗(yàn)證者 (prover-verifier) ，你有某種 LLM 作為裁判，它也被激勵(lì)去發(fā)現(xiàn)你工作中的錯(cuò)誤。你可以說這不完全是自我對(duì)弈，但我相信這是人們正在做的一種相關(guān)的對(duì)抗性設(shè)置。
真正的自我對(duì)弈是更普遍的智能體之間競(jìng)爭(zhēng)的一個(gè)特例。對(duì)競(jìng)爭(zhēng)的自然反應(yīng)是試圖變得不同。所以如果你把多個(gè)智能體放在一起，你告訴他們：「你們都需要解決某個(gè)問題，你是一個(gè)智能體，你在檢查其他人正在做什么，」他們會(huì)說：「好吧，如果他們已經(jīng)采取了這種方法，我不清楚我是否應(yīng)該追求它。我應(yīng)該追求一些差異化的東西。」所以我認(rèn)為像這樣的事情也可以為方法的多樣性創(chuàng)造激勵(lì) 。
研究品味
Dwarkesh Patel：最后一個(gè)問題：什么是研究品味？顯然你是世界上被認(rèn)為在 AI 研究方面最有品味的人。你是深度學(xué)習(xí)歷史上發(fā)生的最大事件的合著者，從 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是如何想出這些想法的？
Ilya Sutskever：我可以就我自己評(píng)論這一點(diǎn) 。我認(rèn)為不同的人做法不同。有一件事指引著我個(gè)人，那就是通過思考人是怎樣的，而且是正確地思考，來形成關(guān)于 AI 應(yīng)該是怎樣的審美。不正確地思考人是怎樣的很容易，但正確地思考人意味著什么？
我給你舉幾個(gè)例子。人工神經(jīng)元 (artificial neuron) 的想法直接受大腦啟發(fā) ，這是一個(gè)偉大的想法。為什么？因?yàn)槟阏f大腦有所有這些不同的器官，它有褶皺 (folds) ，但褶皺可能并不重要。為什么我們認(rèn)為神經(jīng)元重要？因?yàn)橛泻芏嗌窠?jīng)元。這感覺是對(duì)的，所以你想要神經(jīng)元。你想要某種局部的學(xué)習(xí)規(guī)則來改變神經(jīng)元之間的連接。大腦這么做感覺是合理的。
分布式表征 (distributed representation) 的想法。大腦對(duì)經(jīng)驗(yàn)做出反應(yīng) ，因此我們的神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)的想法。大腦從經(jīng)驗(yàn)中學(xué)習(xí) ，神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí) 。你會(huì)問自己，什么是根本的，什么不是根本的？事物應(yīng)該是怎樣的。
我認(rèn)為這一直在相當(dāng)程度上指引著我，從多個(gè)角度思考，尋找近乎美的東西，美和簡(jiǎn)單。丑陋，這里沒有丑陋的容身之地。它是美、簡(jiǎn)單、優(yōu)雅、從大腦中獲得的正確靈感。所有這些事情需要同時(shí)存在。它們存在的越多，你就越能對(duì)一個(gè)自上而下的信念充滿信心。
自上而下的信念是在實(shí)驗(yàn)反駁你時(shí)支撐你的東西。因?yàn)槿绻憧偸窍嘈艛?shù)據(jù) ，好吧，有時(shí)你可能做的是正確的事情，但有個(gè) Bug 。但你不知道有個(gè) Bug 。你怎么能分辨有沒有 Bug？你怎么知道你是應(yīng)該繼續(xù)調(diào)試還是斷定這是錯(cuò)誤的方向？就是靠自上而下。你可以說事情必須是這樣的。像這樣的東西必須工作，因此我們得繼續(xù) 。這就是自上而下，它基于這種多層面的美和大腦的靈感。
Dwarkesh Patel：好的，我們就聊到這里。
Ilya Sutskever：非常感謝。

Scaling時(shí)代終結(jié)了，Ilya Sutskever剛剛宣布

推薦閱讀

錦帶花開花季節(jié) 錦帶花什么時(shí)候開花

扇貝肉要去掉哪些東西，扇貝肉要去掉哪些東西不能吃

家庭自釀葡萄酒的方法及注意事項(xiàng)

地址+電話+上班時(shí)間新密市公積金辦事大廳

關(guān)于鄭板橋的資料

肇事逃逸抓到怎么處罰

平安樹夏天怎么澆水

雞蛋是高膽固醇食物嗎

多肉怎么養(yǎng)成老樁多頭多肉怎么養(yǎng)成老樁多頭的樣子

喝牛奶會(huì)讓孩子更高嗎

家用車輪胎怎么選？什么輪胎質(zhì)量好性價(jià)比高？

BT磁力搜索引擎萬能磁力搜索引擎使用方法

泰迪犬一般多少錢一支,受歡迎的泰迪犬

荷花魚寓意是什么意思

比熊狗狗拉稀吃什么,泰迪幼犬拉稀吃什么藥

誰知道北戴河和山海關(guān)哪個(gè)好