Meta大模型成了“科學(xué)造假發(fā)動(dòng)機(jī)”，發(fā)布3天就在爭(zhēng)議中下架 _推特

文章插圖

夢(mèng)晨發(fā)自凹非寺
量子位 | 公眾號(hào) QbitAI

Meta最新大模型差點(diǎn)成了“科研造假發(fā)動(dòng)機(jī)”，剛出3天就在爭(zhēng)議中下架。
1200億參數(shù)語(yǔ)言模型Galactica，在4800萬(wàn)篇學(xué)術(shù)論文和各式教科書、百科等數(shù)據(jù)上訓(xùn)練而來(lái) 。
（與太空堡壘卡拉狄加同名）
其本意是想解決學(xué)術(shù)界信息過(guò)載，幫助研究人員做信息梳理、知識(shí)推理和寫作輔助，一度被認(rèn)為是“科研者的福音”，或者“寫論文的Copilot” 。

文章插圖

But ，一經(jīng)開放使用，很快就被網(wǎng)友們發(fā)現(xiàn)了大問(wèn)題。
它確實(shí)能為自己生成的內(nèi)容引用文獻(xiàn)，但有時(shí)這個(gè)文獻(xiàn)并不存在，作者卻是真實(shí)存在的人。

文章插圖

它能生成看起來(lái)像模像樣的科普文字，但內(nèi)容卻是完全錯(cuò)誤的。

文章插圖

△真空中的光速和聲速接近可還行？
著名的Gary·AI悲觀主義者·Marcus也來(lái)吐槽，Galactica把他的出生日期、教育經(jīng)歷和研究領(lǐng)域等信息全搞錯(cuò)了。

文章插圖

對(duì)以上種種問(wèn)題，馬克斯普朗克智能系統(tǒng)研究所所長(zhǎng)Michael Black總結(jié)道：

這將開啟一個(gè)科學(xué)深度造假（deep scientific fakes）的時(shí)代。
會(huì)出現(xiàn)研究者從未寫過(guò)的虛假論文，這些論文隨后會(huì)被其他真實(shí)的論文引用，簡(jiǎn)直亂套了。

【Meta大模型成了“科學(xué)造假發(fā)動(dòng)機(jī)”，發(fā)布3天就在爭(zhēng)議中下架】雖然他也注意到，Galactica的開發(fā)者在每個(gè)輸出內(nèi)容后都加了“內(nèi)容可能不可靠”的警告，但“潘多拉的魔盒一旦開啟，就關(guān)不上了” 。
事實(shí)上他的擔(dān)憂不無(wú)道理，AI生成內(nèi)容的速度要比人類快的多，一旦大量被搜索引擎抓取就有可能出現(xiàn)在前排，甚至被當(dāng)成正確答案展示在最上面，誤導(dǎo)更多人。
這樣的爭(zhēng)議持續(xù)了兩三天，團(tuán)隊(duì)只好無(wú)奈宣布Demo暫時(shí)下架，論文和源代碼繼續(xù)開放給相關(guān)領(lǐng)域研究者。

文章插圖

作為Meta首席科學(xué)家， LeCun對(duì)這個(gè)局面并不滿意。
與他觀點(diǎn)一致的網(wǎng)友認(rèn)為， Galactica是有幫助且有趣的，只是被個(gè)別人濫用了。

文章插圖

本意是好的
Galactica由Meta AI與Papers with Code合作開發(fā) 。
在論文引言部分，團(tuán)隊(duì)寫到：

2022年5月， arXiv上每天平均新增516篇論文……科學(xué)數(shù)據(jù)的增長(zhǎng)速度更是比人們的處理能力快……一個(gè)人已經(jīng)不可能讀完特定研究領(lǐng)域的論文。
搜索引擎不直接組織信息，維基百科這樣的形式需要人力來(lái)維護(hù)，研究人員持續(xù)為信息過(guò)載感到不知所措。

因此他們提出，語(yǔ)言大模型可以更好的存儲(chǔ)、組合和推理科學(xué)知識(shí)，并提出一個(gè)終極愿景：