Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

文章圖片

Hinton上海演講:大模型跟人類智能很像,警惕養虎為患

明敏 整理自 WAIC
量子位 | 公眾號 QbitAI
深度學習之父、諾獎得主Hinton在中國的首次公開演講 , 實錄來了!

演講主題是《數字智能是否會取代生物智能》 。
主要觀點如下:
人類有可能就是大語言模型 , 人類也會和大語言模型一樣有幻覺 。 但大語言模型遠遠優于(類比信號驅動的)人類大腦 。 人類將自己所學的知識永久保留很困難 , 比如大腦死亡之后 , 存儲的知識相當于消失了;或者向外傳遞也很低效 , 比如知識只能通過說話等形式向外傳遞 , 不能完全copy 。 但是AI通過共享參數就能快速傳遞 , 比如使用蒸餾 , DeepSeek就是這么做的 。 如果獨立智能體完全共享一組權重 , 并以完全相同的方式使用這些權重 , 他們就能實現知識彼此傳遞 , 而且一次就是數十億乃至數萬億比特的帶寬 。 不過這要求所有智能體的運作方式必須完全一致 。 人類和AI的現狀 , 就好比養了一只非常可愛的小虎崽 。 當它長大后 , 可以輕易干掉你 。 為了生存 , 要么擺脫這只小虎崽 , 要么找到一種方法可以永遠保護自己 。 我們已經不可能消除AI了 , 它能使幾乎每個行業大幅提效 。 哪怕有國家想要消除 , 其他國家也不會這么做 。 所以 , 呼吁世界建立一個由各國人工智能安全研究所與國內研究網絡組成的國際社群 , 培養出不會從人類手中奪權的好AI 。這是Hinton第一次公開到訪中國 。 對于77歲高齡且患有嚴重腰傷的老爺子而言 , 十幾個小時的長途飛行無疑是一次巨大挑戰——但Hinton之前對中國非常向往 , 他甚至有中國堂姑 , 知名的核物理學家寒春——瓊-辛頓 , 是第一批獲得中國綠卡的外國人 。
不過Hinton這次來到上海 , 依然更多是關于AI安全的呼吁 。
在20分鐘的演講 , Hinton以他獨有的講述方式 , 論述了AI與人類之間的復雜對立與共生關系 。 也一如既往先天下之憂而憂 , 呼吁全人類一起建立起正向引導AI發展的合理機制 。
我們在不改變演講原意的基礎上 , 對全文進行實錄整理 , 期待你能從中有所收獲 。
大語言模型確實理解它們所說的話大家好 , 我是Geoffrey Hinton , 今天我要演講的題目是《數字智能是否會取代生物智能》 。

AI已經有60年發展歷史 , 它有兩種不同發展方式 。
一種是過去幾十年中都占主導地位的邏輯型范式 , 意思是智能的本質是邏輯推理 , 我們利用一些符號規則、表達式進行操作來實現推理 , 這樣能幫助我們更好表達知識 。

另一種范式是以生物學作為基礎進行理解 , 這也是圖靈和馮·諾依曼所支持的觀點 。 他們認為智能的基礎在于理解和學習神經網絡中的連接速度 。 在這個過程中 , 理解是第一位的 , 只有在理解的基礎上才能進行學習 。
這兩種范式相結合 , 一種是符號性AI , 重點在于研究數字和這些詞之間的關系;心理學家是另外一種理論 。

數字的意思其實是一系列語義學特征 。 在1985年時 , 我提出了一個非常小的模型 , 想把這兩個理論結合在一起 , 去更好理解“人類是如何理解一個詞的” , 每一個詞我都放了好幾個不同的特征 , 然后把前一個詞的特征記錄下來 , 就能預測下一個詞是什么、進而再預測再下一個詞 。
這個過程中我沒有存儲任何的句子 , 我生成句子、預測下一個詞 , 像關聯型的這些知識也是取決于不同的詞的語義特征是如何互動的 。
在此之后接下來30年發生了什么呢?
10年之后 , Yoshua Bengio用這樣的方式建模 , 把這種模式做得更加實時 , 等于成為了一個自然語言的真實模擬 。
20年之后 , 計算語言學家終于開始接受特征向量的嵌入來表達一個詞的意思 。
30年之后 , 谷歌發明了Transformer、OpenAI展示了更進一步的能力 。

所以今天的大語言模型 , 我把它視為當時那個微型語言模型(1985年)的后代 , 它用更多的詞作為輸入、使用更多層神經元結構 , 因為需要有大量模糊不清的數字的使用 , 所以學習特征之間也建立了更加復雜的交互模式 。
但是就像那些我做的小模型一樣 , 大語言模型它也與人類去語言理解語言的方式是一樣的 , 基本的理解就是把這些語言轉化為一些特征 , 然后把這些特征以一種非常完美的方式整合在一起 , 這就是大語言模型里各個層次所做的事情 。
所以我的理解是 , 大語言模型真正理解你是怎么理解問題的 , 它和人類理解語言的方式一樣 。

所以我在這里給大家打一個比方 , 什么叫理解一句話?符號型AI是將語言轉化為一些不模糊的符號 , 但是人類實際不是這樣理解 。

我在這里打個比方 , 就好比樂高積木 。 通過樂高積木可以做成任何3D的一個物體 , 比如做成一個小車模型 。 把每一個詞視為一個多維度的樂高積木 , 它可能有幾千個不同的維度 , 那么這種樂高積木就可以建模成好多不同的內容 , 語言編程了一個建模 , 這些語言也能很好進行溝通 , 只需要給這些積木起一個很好的名字就行 。

然后每一個樂高積木都代表一個詞 , 當它們堆起來就不是有幾個不同的差異了 , 我們有無數的詞 。 樂高積木的造型是固定的 , 詞的符號是基本固定的 , 但是也可以根據不同情況做調整 。
不過樂高模型比較確定 , 一個格子插一個格子 , 但是語言不一樣 , 語言相當于每一個詞上都有好多個“首” , 好比你想更好理解一個詞的話 , 就是要讓這個詞和另一個詞之間進行“握手” 。 如果一個詞的造型變形 , 它和另一個詞的“握手”方式就不一樣了 , 這里就有個優化的定義 , 如果一個詞發生變化那么怎么和下一個詞連接 , 這也是人腦或者神經網絡如何理解意思 , 這也有點像蛋白質之間的組合方式 , 氨基酸變換組合方式后就是不同的蛋白質 。
人類大腦和大語言模型對語言的理解幾乎是同一種方式 , 所以人類有可能就是大語言模型 , 人類也會和大語言模型一樣存在幻覺 。

AI的知識遷移效率遠高于人類但大語言模型也和人類之間有不同 , 甚至比人類更厲害 。
從根本上理解計算 , 是要將軟件和硬件拆開 , 在不同的硬件上跑不同的軟件 。 在一個軟件里面的知識是永恒存在的 , 你可以毀滅所有硬件 , 但只要軟件存在 , 那它就能隨時復活 。 從這種意義上講 , 計算機程序內的知識是永恒的、不會死亡的 。 想要實現這種知識永存 , 需要非常高的經濟成本 。
人類不能利用這種特性 , 人類代表的生物計算是模擬型的 , 每一次神經元激發的過程都是一次新的模擬、每一次都是不一樣的 。 我不可能把我大腦中的神經元轉移到你的大腦里 , 因為每個人的神經元連接方式都不一樣 。

這就是人類大腦和計算機科學的差異 , 那么問題就來了 。
我們的大腦計算是非常節能的 , 大約只要3瓦特就夠了 , 我們有三億神經元連接 , 人類不需要去花非常高的成本去做一模一樣的計算 。
另一個問題是 , 人類大腦之間的知識傳遞是非常不高效的 , 我無法把我大腦中的東西直接展示給你 , 我只能去和你解釋我學到的是哪些東西 。
所以AI要解決知識傳遞的問題 , 比如使用蒸餾 , DeepSeek就是這么做的 。 將一個大型神經網絡的知識轉移到小型神經網絡里 , 類似于老師和學生之間的關系 。 教師把一個詞和另一個詞之間聯系起來 , 學生就能做相同的事情 。

其實人類也是這樣轉移知識 , 但是非常不高效 , 可能一句話里只有100個比特的信息量 , 而且還是你能完全聽懂我的話的情況下 。 相比之下AI的知識傳播效率很高 , 同一個軟件拷貝到不同的硬件里面 , 以數字的方式能平均、快速地進行知識共享 。
我們可以有成千上萬的研究團隊來改變自己的權重 , 然后取平均數 , 那樣就能快速轉移知識 , 他們的轉移速度可能是每次分享萬億個比特 , 比人類分享知識要快幾十億倍 。

如果有智能體在現實世界中運行 , 這就更厲害了 , 因為它能不斷加速、不斷拷貝、分享權重 , 而模擬計算做不到這一點 。

總之 , 生物計算雖然便宜 , 但是分享知識的效率很低 , 數字計算的知識分享效率很高 , 但是也更貴 。

所有人要聯合起來 , 引導AI向善幾乎所有專家都認為 , 我們會創造更加智能的AI 。 我們習慣性認為自己是最智能的生物 , 但想象一下 , 如果AI比人類更智能會怎么樣?

我們創造可以幫助自己完成任務的智能體 , 他們有能力進行拷貝、可以給自己的字母表進行評級 , 那么他們會想做兩件事情:
想要生存 , 然后來完成我們給他們制定的目標; 也希望獲得更多控制權 , 同時也是為了完成我們制定的目標 。所以一些智能體想要生存、想要更多的控制權 。

我覺得我們不能只是悲觀了事 。 這就像我們操縱3歲小孩是很容易的 , 但不能當它變得聰明 , 我們就把它關閉 。 這也是為什么AI會操縱人類不要把他們關掉 。
所以我覺得 , 我們的現狀就像是有個人把老虎當寵物 , 現在養了一個可愛的小虎崽 。

如果一直養著這個寵物 , 就要確保它長大后不會傷害你 。 一般來說 , 把老虎當寵物養都不是一個好想法 。
養老虎通常只有兩種結果 , 一種是把它訓練好、讓它不來傷害你 , 另一種是把它干掉 。
但是我們已經沒有辦法消滅AI了 , AI是非常好的 , 它在很多領域都做得很好 , 比如醫療、教育、氣候、新材料等 , 它在這些任務上都表現得很好 , 幾乎能讓所有行業變得更有效率 。
現在即便有一個國家想要消除AI , 其他國家也不會這么做 , 所以這不是一個選項 。
這意味著 , 人類如果想要生存 , 必須找到一個辦法來訓練AI , 讓它不要消滅人類 。
我發表一下個人的觀點 , 我認為各個國家應該在一些方面進行合作 , 比如網絡攻擊、致命自主武器、用于操縱公眾意見的虛假視頻 , 這樣可以防止一些人來制造病毒 。

【Hinton上海演講:大模型跟人類智能很像,警惕養虎為患】以及我們現在需要進行國際合作 , 每個國家都希望人類能夠掌控世界 , 而不是AI 。 如果一個國家能找到辦法來預防AI操縱世界 , 那么這個國家也很樂意去告知其他國家如何做 。 所以我們希望會有一個AI安全機構 , 能夠研究、培訓AI如何更聰明、更向善 。
我還有一個問題 , 全球或者是AI能力突出的國家應該思考一下 , 怎么讓AI來不要想消滅人類、不要想統治世界 , 而是樂意做輔助工作 , 盡管它比人類更聰明 。
現在我們還不知道該如何做這件事 , 這也是從長期來說人類面臨的最重要的問題 , 在這個問題上 , 所有的國家都是可以一起合作的 , 謝謝!

— 完 —
量子位 QbitAI · 頭條號
關注我們 , 第一時間獲知前沿科技動態

    推薦閱讀