他同時參與創辦OpenAI/DeepMind,還寫了哈利波特同人小說

他同時參與創辦OpenAI/DeepMind,還寫了哈利波特同人小說

文章圖片

他同時參與創辦OpenAI/DeepMind,還寫了哈利波特同人小說

文章圖片

他同時參與創辦OpenAI/DeepMind,還寫了哈利波特同人小說

文章圖片


鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI
人工智能有99.5%的可能性會殺死你 。
這是硅谷版世界末日傳教士Eliezer Yudkowsky的最新論點 。

Yudkowsky用現在的話說 , 是個不折不扣的斜杠青年 , 是MIRI創始人 , 也是著名的哈利波特同人文作者 。
但最引人注目的身份則是一手締造OpenAI和谷歌DeepMind的中之人 。
八年級輟學、AI知識全靠自學成才……
奧特曼、馬斯克紛紛引用他的觀點 , AI教父Hinton、LeCun則批評他的極端 。
就是這樣一個評價兩極分化嚴重的人 , 卻成為了硅谷大佬們爭先恐后的座上賓 。
他說 , 他的目標是阻止AI朝著超級智能發展 , 因為這事關整個人類的生死存亡 。
沒有妥協的余地 , 即使是llya的公司也應該被關閉 。
參與OpenAI和DeepMind創辦也許你對Eliezer Yudkowsky還不太熟悉 , 但他的名字在硅谷可以說是大名鼎鼎 。

Eliezer Yudkowsky出生在芝加哥的一個東正教猶太家庭 , 因為慢性健康問題 , 在八年級后就早早地輟學回家 。
沒有學校文憑 , 取而代之的是 , 他如饑似渴地閱讀科幻小說 , 自學計算機科學 , 并與一群主張科技樂觀主義的未來學家們在網上交流 。
也就是那時 , 他被“奇點”這個概念所深深吸引 , 即假設中人工智能超越人類智能的未來轉折點 , 于是他立志要創建AGI , 并堅信AGI即將到來 。
但當他來到硅谷后 , 卻發現要創建對人類友好的人工智能其實相當困難 , 主要還是以下三個原因:
正交性:智力不等同于仁慈 , AI不會因為變得更聰明而自動變得更友好 。 工具性融合:任何強大的、以目標為導向的AI系統都有可能采取對人類不利的手段 , 比如在回形針最大化器實驗中 , 一旦AI認為人類身體內的鐵元素可以用來制作回形針 , 那么為了保證最大化生產回形針 , AI將會把人類視作資源的一部分 。 情報爆炸:AI能力可能在短時間內急劇飆升 , 導致迅速出現不可控的超級智能 。從此之后 , 他開始持續關注AI安全問題 , 也成為了硅谷最早警告AI風險的“傳教士”之一 。
Yudkowsky曾表示:
人類注定要滅亡 , 我不會繼續打一場失敗的戰斗來使人工智能與人類價值觀保持一致 , 而是將注意力轉移到幫助人們接受自己的命運上 。
此外他還在伯克利創建了MIRI研究所 , 致力于研究先進人工智能的風險 。

雖然他極端悲觀的AI末日論說法頗受業界爭議 , 連AI教父Hinton都明確表示過Yudkowsky的主張過于偏頗 , 但不可否認的是 , 他在一定程度上影響了整個硅谷 。
無論是OpenAI的奧特曼 , 還是馬斯克在內的AI科技巨頭 , 都曾在公開場合引用他的觀點 , 奧特曼甚至曾表示 , Yudkowsky在他創辦OpenAI的決定中 , 發揮了關鍵性作用 , 而且他值得一座諾貝爾和平獎 。
不僅如此 , 谷歌在AI領域有所成就也離不開他的功勞 。
2010年時 , 就是他為初創公司DeepMind的創始人牽線搭橋 , 將其介紹給了風險投資家Peter Thiel , Thiel從此成為了DeepMind的第一位主要投資者 。
后面谷歌在2014年收購了DeepMind , 而DeepMind的聯合創始人Demis Hassabis如今正負責監督谷歌的AI工作 。
哈利波特同人文作者除了在AI安全領域的貢獻 , 讓Yudkowsky在硅谷聲名鵲起的另一個原因 , 則是他對硅谷理性主義的引領 。
如今硅谷科技公司中的年輕一代 , 絕大多數都是堅定的理性主義者 , 追根溯源正是受到了Yudkowsky的作品影響 。
而這本書便是哈利波特的同人文——《哈利·波特與理性之道》 。

在這本書中 , 哈利波特從小接受科學訓練、邏輯思維和理性教育 , 用科學探索魔法世界 。 原著中的事件都被理性重構改寫 , 不僅關注魔法如何使用 , 還探究魔法原理和背后的邏輯 , 還經常涉及像貝葉斯推理、實驗設計、概率思維等知識 。
再比如說 , Yudkowsky的另一本有關《龍與地下城》的同人小說 , 其中也包含了他對決策理論的諸多看法 。
而最近他和MIRI總裁Nate Soares合著的新書《如果有人建造它 , 每個人都會死》 , 也是他們多年來一直向人工智能內部人士提出的案例提煉版 , 當中他公開拋出了有關超級智能的最終預測 。

他認為 , 目前很多科技公司 , 包括Anthropic、OpenAI在內 , 在構建軟件模型時 , 其實并不清楚內部的運作邏輯 , 所追求的“煉金術”超越了科學理解范疇 。
所以一旦模型能力到達某種程度 , 現有的AI對齊技術(如強化學習、微調等)將不可避免地失效 , 從而忽略人類指令 。
最終AI不僅掌握了極大的能量 , 在資源使用、決策等方面也會脫離人類控制 , 人類可能在毫無察覺的時候就被潛移默化地邊緣化取代 , 以一種漸進式的方式消失 , 而非像科幻電影中所描述的那樣 , 會出現一場和機器人的生死存亡的戰爭 。
Yudkowsky認為 , 現在已經到了該報警的階段 , 這不是危言聳聽 , 人類正在忽略真正的風險 。
在談及硅谷這些追求創造超級智能的科技公司 , Yudkowsky表示它們每一家都應該被關閉 , Anthropic相對較好 , 而OpenAI明顯最差 , 但誠然重視AI安全如llya , Yudkowsky也一視同仁地認為llya的公司也需要被停止 , 因為它們本質上都沒有區別 。
不過隨著時間的推移 , 他不再精確預測超級人工智能何時才會被開發出來 , 當結果注定的時候 , 過程顯得那么無關緊要 。
【他同時參與創辦OpenAI/DeepMind,還寫了哈利波特同人小說】正如他回復網友時 , 所采用的這個比喻:
預測掉入熱水中的冰塊何時融化 , 比知道結果注定是一杯溫水 , 要困難得多 。

而他正在試圖做的 , 是告訴人們 , 這里將會有一杯溫水 。
參考鏈接:[1
https://www.nytimes.com/2025/09/12/technology/ai-eliezer-yudkowsky-book.html?unlocked_article_code=1.lU8.ALkU.Qne6o4IgeeEP[2
https://www.semafor.com/article/09/12/2025/researchers-give-doomsday-warning-about-building-ai-too-fast
— 完 —
量子位 QbitAI
關注我們 , 第一時間獲知前沿科技動態

    推薦閱讀