1. 首頁 > 生活百科 > >

GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命

教師數學openai

GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命

文章圖片

GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命

文章圖片

GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命

文章圖片

GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命

文章圖片

GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命

文章圖片


GPT-5 ， 曾經差點難產？這條誕生路 ， 簡直是烈火煉真金 。 一邊是人才出走、小扎截胡、團隊內部陷入混亂 ， 另一邊 ， 推理模型魔咒讓研究者苦惱不已 ， 項目甚至一度停擺 。 外媒曝出這期GPT-5誕生內幕 ， 可謂亮點滿滿 ， 干貨十足 。
就在剛剛 ， 外媒The Information曝出了關于GPT-5的一大波最新內幕 ， 眾多猛料來了！
比如 ， GPT-5并未取得技術突破 ， 不存在GPT-3到GPT-4這種級別的躍升 。
比如 ， OpenAI正面臨著嚴重的數據瓶頸和技術難題 。
還有一個勁爆大瓜 ， OpenAI大波核心研究者一下子被小扎撬走 ， 直接導致了OpenAI內部的組織架構混亂！
為此 ， 研究副總裁Jerry Tworek在Slack上公開向研究主管Mark Chen抱怨 ， 許多同事都看到了 。
不過 ， 就在這么一篇唱衰的文章發布之際 ， OpenAI同時又有好消息了 。
近日 ， OpenAI又獲得了一筆巨額融資 。 據悉 ， OpenAI已提前數月籌集了83億美元資金 ， 這就導致它的估值直接達到3000億美元 ， 這是今年400億美元融資計劃的一部分 。
參與此輪融資的 ， 有一大波全新投資者 ， 其中Dragoneer投資集團以28億美元領投本輪 ， Blackstone、TPG、Fidelity、Founders Fund、紅杉資本等跟投 。
不過 ， 雖說Dragoneer是本輪融資的最大出資方 ， 但軟銀仍是整個400億融資計劃的牽頭者 。
GPT-5還沒發布 ， 各方勢力都下場了 ， 這不免讓人把期待值拉滿 ， 屏息等待下周的盛況了 。

Orion隕落真相 ， GPT-5沒做出來 ， 降級成4.5了去年萬眾矚目的Orion ， 大家應該都還記得 。
The Information爆料說 ， 2024年下半年的大部分時間里 ， OpenAI都在全力開發Orion模型 ， 它被寄予了厚望 ， 原計劃作為GPT-5推出 。
跟5月發布的旗艦模型GPT-4o相比 ， Orion本該有巨大飛躍 。
結果它的性能令人大失所望 ， 最終只能被降級成GPT-4.5 ， 在今年2月推出 。 默默上線后 ， GPT-4.5迅速淡出公眾視野 。
所以 ， Orion為何會失敗？
最核心的原因就在于 ， 團隊摸到了預訓練階段的天花板 。 因為高質量網絡數據已經日益枯竭 ， 訓練小模型時還有效的技巧 ， 在大模型身上竟然就會失效 。
這不光導致了GPT-5的延期 ， 也讓OpenAI的團隊內部陷入了自我懷疑 。

GPT-5 ， 根本沒有GPT-3到GPT-4級的躍遷這個從神壇跌落的故事 ， 要從去年12月說起 。
當時 ， OpenAI的研究者完成了一項內部測試 ， 結果震驚了整個團隊 。
他們發現 ， 當給一個新模型更多算力和思考時間 ， 它就像開了掛一樣 ， 復雜推理信手拈來 ， 執行任務出色到驚人 。
然而 ， 激動的工程師們很快發現 ， 這份興奮只是暫時的 。
當他們把這個新模型轉化為o3聊天版本時 ， 那種驚人的性能提升消失了 。
可以說 ， 這次事件 ， 正是OpenAI在今年大部分時間里所面臨技術挑戰的一個縮影 。 這讓OpenAI不僅內部技術進展緩慢 ， 大獲成功的ChatGPT業務也受到波及 。
GPT-5發布前夕 ， 各類泄露和爆料已經是滿天飛 。
比如 ， 它的編程和數學能力又有了顯著提升 。 另外 ， 它在驅動AI智能體方面也優于前代模型 ， 只需要極少人工監督 ， 就能處理復雜任務 。
它能遵循極其復雜的指令 ， 比如支持智能體何時應批準退款的規則 。 而在以往 ， 模型需要學習多個棘手的「邊緣案例」 ， 才能處理此類退款 。
但總的來說 ， 這些改進根本無法與2020年GPT-3到2023年的GPT-4之間的性能飛躍相提并論 。
也就是說 ， 我們需要做好對GPT-5失望的準備 。
不過 ， OpenAI模型的任何改進 ， 即便是漸進式的 ， 也能刺激客戶需求 ， 以及給投資者信心 。 這樣才能支持OpenAI未來三年半燒掉450億的計劃 ， 畢竟租用服務器實在是太昂貴了 。

高管為何相信GPT-8？最近曾有OpenAI高管向投資者透露：沿著目前架構 ， 他們相信模型有朝一日會達到GPT-8的水平 。
CEO奧特曼也表示過 ， 利用現有技術 ， OpenAI有望創造出AGI 。
是什么給了他們這樣的信念？
一位了解內情的微軟員工透露了玄機：測試GPT-5后 ， 他們發現它在不消耗更多算力的情況下 ， 就能生成更高質量的代碼和文本 。
部分原因在于 ， 它學會了精準判斷出不同任務所需的計算資源量 。

內部「混亂不堪」不過OpenAI內部 ， 可并非一片和諧 。
比如一些高級研究者 ， 非常抵觸將自己的成果交給微軟 ， 盡管這位最大股東擁有的合同權利截至到2030年 。
雖然兩家公司財務緊密 ， 但在具體合作條款上 ， 卻始終爭執不休 。 最新信息是 ， OpenAI重組營利性部門后 ， 微軟很可能在其中獲得33%的股份 。
而小扎以天價薪酬挖走的團隊 ， 也讓OpenAI內部陷入了更大的混亂 。
走了這么多人 ， 只能緊急進行組織架構調整 。
上周 ， OpenAI的研究副總裁Jerry Tworek在Slack上向上司、研究主管Mark Chen抱怨團隊變動的事 ， 許多同事都看到了這條信息 。
當時 ， Tworek表示需要休假一周來重新思考 ， 但最終并未休假 。

絕境中的轉機 ， 推理模型的意外崛起總之 ， 直到今年6月 ， 情況依然很嚴峻：OpenAI開發的模型中 ， 沒有一個能頂得住GPT-5的名號 。
好在 ， 「推理模型」成了他們的全新突破口 。
23年末一項名為Q*的技術突破 ， 能解決前所未見的數學問題 ， 在OpenAI研究者中引發了巨大震動 。
基于Q* ， OpenAI開發了許多推理模型 ， 在獲得更多算力時 ， 它們就會表現更佳——看起來 ， 預訓練的性能增長瓶頸 ， 就要被克服了 。
去年秋天 ， 第一個推理模型正式推出 ， 它就是o1 。 24年底 ， OpenAI利用與o1基礎相同的GPT-4o ， 又推出了推理模型o3 。
據說 ， 雖然師出同門 ， 但o3的教師模型在理解科學知識方面 ， 比o1的教師模型進步大得多 。
背后原因 ， 就是OpenAI用了更多英偉達芯片來開發o3的教師模型 ， 這就讓它理解復雜概念時能力更強 。
還有一個原因 ， 就是它被賦予了搜索網絡 ， 以及從代碼庫中提取信息的能力 。
并且 ， 它也同樣受益于強化學習 。 此過程中 ， 人類專家在生物學、軟件工程和醫學上提出刁鉆的問題和答案 ， 然后讓模型針對這些問題生成數千個自己的回答 。
隨后 ， OpenAI會利用那些與人類專家得出相同答案的AI生成回答（也即「合成數據」）來訓練模型 。

推理模型為何總翻車o3模型發布后 ， 一度成為全球頭條 ， 引發病毒式討論 ， 然而現實很快給了當頭一棒 。
當o3的教師模型轉換為學生模型 ， 變成一個可以讓人們提問的聊天版本時 ， 它的性能顯著下降 ， 甚至跟o1相比沒有任何區別 。
同樣 ， 創建讓企業通過API購買的版本時 ， 同樣的問題也出現了 。
有知情人分析 ， 原因是這樣的：o3理解概念的方式很獨特 ， 跟人類的交流方式大相徑庭 。
因此 ， 如果創建一個聊天版本 ， 其實就拉低了這個原始天才級模型的智能水平 ， 因為它被迫用人類語言 ， 而非自己的語言去交流 。 這種情況下 ， 它的推理鏈條就會被迫壓縮、扭曲 。
甚至有開發者在調試時 ， 偶爾能看到模型輸出「亂碼」般的中間語言——那可能就是它「思考」的原始形態 ， 也就是這個天才原本的樣子 。
還有人認為 ， OpenAI沒有投入足夠精力來訓練模型在聊天場景中與人類進行有效溝通 。
總之 ， o系列模型讓ChatGPT的用戶非常困惑 ， 因此公司決定重新回歸GPT的命名體系 。

「通用驗證器」好在 ， OpenAI還有辦法 。
據悉 ， 內部正在開發一種「通用驗證器」 ， 可以自動化地確保模型在RL過程中產生高質量的答案 。
本質上 ， 這個過程是讓一個LLM承擔起檢查和評估另一個模型答案的任務 ， 并利用各種信息源來對答案進行研究核實 。
前一陣OpenAI的模型在數學競賽中拿了金牌后 ， 高級研究員Alexander Wei在X上表示 ， 他們所使用的強化學習方法是「通用」的 。
也就是說 ， 這個模型不僅能檢查編程這種標準答案清晰的內容 ， 甚至還能判斷寫作這種主觀性很強的內容質量 。
這就對GPT-5助力極大！
OpenAI強化學習團隊負責人Tworek最近也公開表示 ， 自己認同這個觀點：OpenAI模型背后的強化學習系統 ， 其實已經具備了通往AGI的潛力 。
目前 ， 包括xAI和谷歌在內的AI大廠都已加倍押注強化學習 。
上周 ， Altman在播客節目中 ， 描述GPT-5的能力說 ， 它輕松解決了一個他根本看不懂的問題 ， 直接讓他坐到椅子上 ， 感到暈眩 。
這就進一步點燃了我們對GPT-5的狂熱期待 。
「在幾乎所有方面 ， GPT-5都比我們更聰明 。 」
究竟什么樣的模型 ， 才配叫作GPT-5？好在 ， 我們要等的時間不多了 。
參考資料：
【GPT-5難產內幕曝光，核心團隊遭挖空，推理魔咒難破，靠英偉達續命】https://www.theinformation.com/articles/inside-openais-rocky-path-gpt-5?rc=epv9gi

    推薦閱讀