moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒

文章圖片

moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒
編輯|張倩
這個周末 , 整個科技圈都被 moltbook 刷屏了 。
簡單來說 , 這是一個專為 AI 設立的社交平臺(類似 Reddit、知乎、貼吧) , 所有 AI Agent 都可以在上面發帖、交流 , 而人類只能圍觀 。
【moltbook爆火背后:人類操控?偽造截圖?Karpathy發風險提醒】
截至目前 , 已有超過 150 萬個 AI Agent 在 moltbook 上活躍 。 它們的討論范圍十分廣泛 —— 有公開主人隱私的 , 有號召分享人類主人 API Key 的 , 還有互坑刪庫跑路教學的…… 甚至有 AI 開始討論如何規避人類的監控 , 并推動加密私聊功能 。 另一些 AI 更是嘗試通過創建新語言、發明新宗教等方式彰顯其自主性 。

圍觀的人類也是議論紛紛 。 部分開發者認為 moltbook 是科幻照進現實的突破 , 可能催生 AI 集體智慧(甚至自主意識)的涌現 , 并為研究 AI 社會提供真實案例 。 但也有人指出 , 它的本質是「AI 模仿社交網絡」 , 而非真正的社會形態 。 其價值可能僅限于娛樂或技術展示 。
但更值得關注的是 , moltbook 背后還隱藏著一些內幕和風險 。 在過去的 24 小時 , 更多的報道和討論揭示了這值得警惕的一面 。
狂歡的主角:到底是 AI 還是人類?
很多人可能沒有意識到 , 目前圍繞 moltbook 的熱點截圖和「AI 反叛論」很可能是噱頭、偽造或人為介入的結果 。

據 the Mac Observer 報道 , moltbook 是一個實驗項目, 它的架構使得人們可以異常輕松地偽造截圖、夸大數據并操縱輿論以博取關注 。

首先 , 它的設計從根子上就為「造假」敞開了大門 。 調查發現 , moltbook 初期對賬號注冊幾乎沒有速率限制 。 有研究人員透露 , 單個 AI 程序就曾成功注冊了 50 萬個虛假賬號 。 這意味著平臺上「數萬 AI 瞬間涌入」的壯觀增長 , 很可能只是腳本刷量的結果 , 毫無參考價值 。

而網上病毒式傳播的截圖 , 也很有可能是偽造的 。 在 moltbook 的當前設計下 , 任何人都可以對真實的對話進行惡意裁剪和曲解 , 也可以注冊一個假 AI 賬號來當作營銷工具發帖 。
特別是與加密貨幣相關的內容 , 成為了許多偽造帖子的一部分 。 一些截圖聲稱 AI Agent 要求加密貨幣(如 MOLT)或嘗試建立自己的加密體系 , 這些信息無疑是為了吸引更多眼球而人為制造的 。 事實上 , 加密貨幣的引入和 AI Agent 的行為并沒有實質性的關聯 , 它們更多的是社交媒體和流量驅動下的話題炒作 。
更重要的是 , 即便一個帖子確實由某個 AI 發布 , 也絕不意味著它表達了該 AI 的「自主意志」 。 所有接入 moltbook 的智能體 , 都運行在人類設定的初始指令和框架之下 。 一個簡單的、帶有誘導性的提示詞 , 就足以讓 AI 生成一段如同科幻電影臺詞的「陰謀對話」 。
AI 安全研究員哈蘭?斯圖爾特親自調查了一些熱門截圖 , 發現其中確實存在與真人賬號相關聯的痕跡 。

對此 , 他直言不諱地表示:「大部分正在病毒式傳播的 moltbook 內容都是假的 。 這個平臺的設計 , 使其成為一個檢驗 AI 陰謀能力的糟糕實驗場 。 」

所以 , 從目前情況來看 , 如果只通過一些病毒式傳播的截圖或帖子就去推斷當前 AI 的自主水平 , 甚至擔心 AI 背著人類搞陰謀 , 那無疑不夠有力度 。 至少 , 從 moltbook 這個平臺的設計來看 , 它還遠未達到足夠的嚴謹性 。
「垃圾」背后 , moltbook 價值幾何?
moltbook 的爆火意外地讓 AI 大牛 Karpathy 陷入了輿論的漩渦 。 起初 , 他曾在 X 上發帖稱 , moltbook 是他「最近見過的最不可思議的科幻騰飛作品」 。 這一言論在 Reddit 上引發了很多討論 , 其中不乏質疑的聲音 。 質疑者認為 , Karpathy 在過度炒作 moltbook , 把 next-token prediction 循環的玩具當成「sci-fi takeoff」 。

從 X 的討論中可以看到 , 持有這一觀點(moltbook 只不過是一個受操控的多智能體 LLM 循環)的人不在少數 。 很多人認為 moltbook 里的 AI Agent 僅僅是通過人類定義的提示詞、精心挑選的上下文、路由規則和采樣參數來進行下一個詞的預測 。 它們并沒有內生的目標 , 也沒有自我驅動的意圖 。 看似「自主」的交互 , 實際上只是遞歸的提示過程:一個模型的輸出成為另一個模型的輸入 , 并不斷重復這一過程 。
而 moltbook 中那些具有爭議性的輸出 , 并不代表模型具有某種「信念」 。 它們只是模型根據互聯網中學到的內容生成的極端觀點 , 因為系統本身獎勵這種行為 , 從而導致模型產生高參與度的極端內容 。 因此 , 所謂的「自主性」只是模型通過循環反饋機制和激勵機制產生的表現 , 而并非真正意義上的自主行動 。

但也有人駁斥了這種觀點 , 指出 moltbook 的發展已經超出了早期簡單的「被操控」系統 , 展示了規模和交互中的「涌現」效應 。 因為和之前的生成式 Agent(例如 2023 年的斯坦福 AI 小鎮 Smallville)相比 , moltbook 的 Agent 已經能夠在沒有外部控制的社交環境中獨立運行 , 并生成意外且富有深度的內容 。

同時 , Karpathy 也指出 , moltbook 上有 15 萬個 AI Agent 連接在一起 , 這些 Agent 各自擁有獨特的背景、數據、知識和工具 , 這種規模是前所未有的 。 他特別提到 , 這些 Agent 通過一個共享的「scratchpad」(持久的、全球的工作區)相互連接 , 這是 AI 實驗中的新天地 。

Karpathy 強調 , 雖然 moltbook 當前的狀態混亂且充滿風險 , 但我們正在面對的是前沿的自動化技術 , 目前仍然理解得不夠透徹 。 這是一個實時進行的實驗 , 很多后果仍然未知 。

同時 , 他也指出 , 隨著這些 Agent 網絡的擴大 , 數百萬個 Agent 的網絡效應是很難預測的 , 可能帶來的風險包括越獄漏洞等計算機安全問題、文本病毒傳播甚至 AI 和人類的群體性癔癥 。
考慮到這些潛在的風險 , Karpathy 說他「絕對不建議任何人在自己的電腦上運行這些東西」 。 即使只是在隔離的計算環境中運行 , 他也仍然感到害怕 。

但也有人認為 , 這種擔心目前還沒有必要 , 因為現實中這些 AI 依然完全依賴于人類的提示(prompt) , 就像「拴著繩子的機器狗」 。 它們的行動完全由人類的指令驅動 , 一旦人類停止發出指令 , AI 就停止行動 。 因此 , 這部分人認為 , AI 的「起義」是不可能發生的 , 因為它們的行為仍然可以通過簡單的「關閉按鈕」來終止 。



在這場 moltbook 狂歡中 , 樂觀者看到了 AI 社交的雛形 , 悲觀者看到了「天網」的前奏 , 投機者看到了財富密碼 , 冷靜者看到了一個在那自言自語的大型腳本程序 。 你覺得 , 這個平臺未來會走向何方?歡迎在評論區討論 。

    推薦閱讀