1. 首頁 > 生活百科 > >

一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來

ai天月阿里巴巴

一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來

文章圖片

一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來

文章圖片

一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來

文章圖片

一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來

文章圖片

一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來

機器之心報道
編輯：冷貓、Panda
「安靜！吵到我用 TNT 了！」

長期關注科技圈的朋友們都知道 ， 羅永浩的錘子科技落幕已經七年 。 七年間 ， 仍有無數錘科粉絲保留著舊手機備用 ， 懷念手機圈當年的「銳利異類」 ， 以至于錘子手機仍然有百萬日活用戶 。
而錘子科技 ， 羅永浩最大的愿景和遺憾 ， 莫過于號稱「重新定義下個十年的個人電腦」 ， 以及鬧出了科技圈永生梗「理解萬歲」的 TNT 。
給不熟悉的讀者朋友們簡單介紹下：TNT 全稱 TouchTalk ， 通過觸控 + 語音的方式操作設備 。
在那個 AI 尚顯稚嫩的年代 ， 這被視為一種激進的賭博；但在大模型爆發的今天 ， 我們驚訝地發現：最高效的手機操作方式 ， 恰恰就是 TNT 構想的那樣：按住屏幕把需求說出來 ， 設備自動完成一切 。
近些天 ， 豆包手機（豆包手機助手技術預覽版）爆火 ， 讓能夠操作手機的 AI Agent 走入了大眾視野 。 Agent 借助大模型和自動操作系統的設計 ， 讓用戶憑借自然語言和語音輸入 ， 就能自然實現通用的、跨任務的復雜操作 。
也因此 ， 人們在震驚于現今大模型 GUI Agent 能力強大之余 ， 也不禁擔心個人數據上云的隱私權限問題 ， 幾大國民級 App 也都限制了豆包手機助手的訪問 ， 再加上搭載豆包的手機一機難求……
除了被大廠生態裹挾 ， 我們有沒有另一種選擇？有沒有一個既能一句話搞定繁雜任務 ， 又能將隱私握在自己手里 ， 甚至人人都能 DIY 的 GUI Agent？
有的兄弟 ， 有的 ， 而且是來自深耕智能體的智譜的明星項目：AutoGLM 。
就在前天 ， AutoGLM 正式全面開源！
豆包手機之所以遭到所有大廠圍剿 ， 因為 AI 手機很可能是下一個時代的流量入口 。 智譜這波開源直接把能力交給了所有人手上 ， 一己之力把 AI 原生手機的門檻給打平了 。
為開源精神點贊！
具體來說 ， Open-AutoGLM 由一個手機端智能助手框架 Phone Agent 和一個 9B 大小的模型 AutoGLM-Phone-9B 共同組成 。

開源地址：https://github.com/zai-org/Open-AutoGLM
從第一個 AI 發出的紅包說起
這次開源對行業的影響力 ， 核心來自這次智譜開源的不是一個普通的 GUI agent 模型 ， 而可能是行業最好的模型 。
智譜是第一個開始可操作智能體研究的廠商 。
時間回到 32 個月前的 2023 年 4 月 ， 智譜就已經開始從零探索 AutoGLM ， 目標是打造一個不僅能「說」 ， 還能「做」的智能體模型 。
2024 年 10 月 ， AutoGLM 面世爆火 ， 被業界公認為是全球第一個可以真正操控手機的 Agent ， 迄今也是全球完成度最高的 GUI Phone Use 模型 。 不是模擬 ， 不是腳本 ， 而是像人一樣去「看屏幕」 ， 去分析 UI 布局 ， 然后模擬手指進行點擊與滑動 。 AutoGLM 這個 Phone Use 能力的誕生 ， 是「AI 會用工具」的關鍵里程碑 。
一個月后 ， 它做了一件前所未有的事情：AutoGLM 完成了人類歷史上第一個由 AI 全自動發出的紅包 。

這個紅包意味著大模型「從 Chat 到 Act」的范式轉變 ， 語言不再停留在語言本身 ， 而能驅動行動、執行任務 。
但我們很快意識到：會動手的 AI ， 就像剛拿到第一部智能手機的小孩 —— 強大 ， 但也危險 。 如果它在不該點的地方亂點怎么辦？如果某個用戶的真實手機被誤觸隱私應用怎么辦？
于是到了 2025 年 8 月 ， 智譜做了一個關鍵決定：先把 AutoGLM 放進云端的「虛擬手機」里 。
AutoGLM 2.0 云機版 ， 把 AI 的行動舞臺與用戶真實手機完全隔離 。 它看到的屏幕、能執行的點擊 ， 都發生在一臺安全的虛擬設備上 。 涉及隱私的 App ， 比如微信 ， 則選擇不開放 —— 不是做不到 ， 而是智譜希望它「先學會規則 ， 再學本事」 。
Phone Agent 的實現 ， 依賴于 AutoGLM 的視覺-語言模型 。 通過理解手機屏幕內容、解析 UI 狀態 ， 結合智能規劃能力 ， 它能自主完成整套操作流程 。
這背后的實現說簡單也簡單 ， 說復雜也復雜 。 它由三大核心技術組成：
1. ADB（Android Debug Bridge）：手機的「控制器」
AutoGLM 接入安卓系統的 ADB 開發者調試 ， 負責把控制信號送到設備上 ， 實現基本的點按滑動等操作 。
2. 視覺-語言模型（VLM）：AI 的「眼睛 + 大腦」
它能理解手機屏幕上的文本、按鈕、圖標 ， 識別 ， 操作和實時反饋 。
3. 智能規劃：任務拆解的「策劃師」
它能將自然語言任務拆解為可執行步驟 ， 你說一句「發紅包給小李」 ， AI 會自動補全背后的十幾步操作鏈：打開 App、找到聯系人、選擇金額、確認支付……
AutoGLM 把這三項能力打包成一個完整執行框架 ， 「AI 會用手機」的概念已經在諸多測試中保證了穩定和實用 。
一手實測
Open-AutoGLM 究竟有多強？
理論說得再多 ， 不如實戰 。 下面我們就來看看開源版的 AutoGLM 表現究竟如何 。
首先 ， 來一個簡單任務：發微信 。 發送以下指令：
給 wupan 發個微信 ， 就說 Panda 的生日快到了 ， 準備個蛋糕 ， 多點水果 。

可以看到 ， 系統啟動后 ， Open-AutoGLM 首先進行了一波「自檢」 ， 確認 API 和系統權限無誤 。 在這里 ， 我們可以看到智譜給 Phone Agent 的描述：「AI-powered phone automation」 ， 即「AI 賦能的手機自動化」 。
接下來 ， AutoGLM 會回到任務本身 。 思考為了完成這個任務 ， 第一步應該執行什么 。 在終端界面 ， 我們能清晰地看到它的思維鏈（CoT）：
觀察：當前在桌面 。 思考：任務是發微信 ， 第一步需要找到并打開微信 。 行動：點擊微信圖標 。 觀察：進入微信列表頁 。 思考：需要找到 wupan ， 點擊搜索框……如此迭代進行 ， 直到完成任務 。 整個過程行云流水 ， 最后它還會像模像樣地匯報：「任務已完成」 。
而在以上任務執行的同時 ， 我們的手機端則經歷了以下過程 。 很顯然 ， AutoGLM 非常出色地完成了這個初始任務 。

下面 ， 為了更好地展示 ， 我們將使用 scrcpy 將手機投屏到 PC 上 ， 將前后端情況一并錄制 。 此外 ， 為了方便 ， 我們將上面略顯繁瑣的命令定義為一個 Function ， 并把它放進 PowerShell 配置文件 (Profile) 里 。 下面我們只需簡單地輸出「run \"提示詞\"」即可向 AutoGLM 發送指令 。 （當然 ， 你也可以 Vibe Code 一個更好看或直觀的交互 UI 。 ）
接下來試試 AutoGLM 與小紅書的交互 。
run \"打開小紅書 ， 看看有什么有趣的瘋狂動物城周邊\"

同樣 ， 執行非常順暢 ， 并且在執行過程中 ， 我們還看到 AutoGLM 能夠正確地識別和處理彈窗提醒 。 更讓人驚喜的是它的總結能力 。 它沒有機械地羅列標題 ， 而是像個真正的瀏覽者一樣 ， 理解了屏幕上的內容 。 在最終的反饋中 ， 它匯總了前四個結果：發圈、毛絨公仔、圓珠筆、泡泡瑪特盲盒 。 這說明它不僅「看」到了像素 ， 還「懂」了商品 。
AutoGLM 還可以根據用戶指令執行連續多步操作 ， 比如你可以讓它「先打開維基百科找到五月天的第一張專輯是什么 ， 然后打開 QQ 音樂播放它」：

我們還能讓 AutoGLM 幫助完成一些重復性的繁瑣任務 ， 比如應用寶軟件更新 。 當你有一大堆軟件需要更新時 ， 加上不時的彈窗 ， 這會變成一個幾乎讓人有些火大的過程 。 而如果你有 AutoGLM 這樣的 AI 助手 ， 也就是一句話的事兒 。
run \"打開應用寶 ， 把我的軟件更新一下\"

【一手實測 | 智譜AutoGLM開源： AI手機的「安卓時刻」正式到來】哇哦！真省心 。 簡直是「懶人福音」 。 面對一大堆待更新的 App 和時不時的彈窗 ， AutoGLM 耐心地一個個點擊 。
有趣的是 ， 在更新過程中 ， AutoGLM 還遭遇了一次「誤觸」 。 根據對話記錄可以看出 ， 當時彈出了請求更新嗶哩嗶哩的許可申請 ， 而此時百度地圖又剛剛更新完成 ， 于是 AutoGLM 本來打算點擊的「更新」變成了「打開」 ， 它也因此意外打開了百度地圖 。
如果是傳統的自動化腳本 ， 這時候已經卡死報錯了 。 但 AutoGLM 展現出了驚人的臨場反應：
感知錯誤：它發現屏幕畫面變成了地圖 ， 而不是應用寶 。 自我修正：它沒有由于結果超出預期而自亂陣腳 ， 而是分析當前狀況 ， 執行了「返回/退出」操作 。 回到正軌：重新回到應用寶界面 ， 繼續未完成的更新任務 。這種穩健性才是 Agent 走向實用的關鍵 。
實測過程中 ， 我們發現 AutoGLM 的執行邏輯是通過分析屏幕截圖來確定下一步 。 也因此 ， AutoGLM 具有非常高的通用性和普適性 ， 并不局限于智譜官方推薦的應用 。 事實上 ， 只要它能理解手機屏幕截圖 ， 便能夠執行一步步地完成任務 。
舉個例子 ， 我們甚至能讓 AutoGLM 調用其它 AI 助手來幫助完成更加復雜的任務 。
run \"打開 Gemini ， 讓它搜索并整理一下智譜的發展歷史 ， 最后出具一份深度報告\"

結果堪稱完美！Open-AutoGLM 成功打開了 Gemini， 將我們的自然語言指令輸入進去 ， 等待 Gemini 生成長文報告 ， 最后將報告內容提取回來 。
這一刻 ， 手機里的 App 不再是孤島 。 AutoGLM 像是一層「超級膠水」 ， 將本地應用、云端大模型無縫粘合在了一起 。 這或許就是未來「超級 App」的雛形 ——App 本身不再重要 ， 服務才是核心 。
全面開源
人手一個 AI 手機
智譜選擇了和封閉生態完全不同的方向 。
Open-AutoGLM 的全面開源 ， 意味著開發者、研究者與個人愛好者 ， 都可以沿用 AutoGLM 的執行框架 ， 在自己的產品中復現或延展這個「能動手的 AI」 。
此次開源顯得誠意十足：
核心模型與推理代碼：毫無保留 。 工具鏈：完整的 Phone-Use 框架 。 開箱即用：支持 50 多款常用中文 App 的 Demo 。 協議友好：模型采用 MIT 協議 ， 代碼采用 Apache-2.0 協議 。 完善的文檔和快速上手指南 。無需擔憂的隱私問題
開源徹底改變了隱私的博弈關系 。 當模型、框架、適配層全部公開后 ， 我們能做的最重要一件事 ， 就是把 AI 完整地搬回到用戶的本地設備上運行 。
數據無需上云 ， 所有操作記錄、App 使用習慣甚至輸入內容都能在本機完成處理 —— 沒有上傳 ， 自然也就沒有泄露風險 。 同時 ， 代碼完全透明 ， 任何人都可以驗證它是否聯網、是否收集數據、是否寫入日志 ， 比任何口頭承諾都更可靠 。
在 AI 手機的概念被炒得火熱的今天 ， 我們需要的不是又一個竊取數據的云端黑盒 ， 而是一個透明、可控、私有的智能管家 。
行業平等的模型底座
在不遠的未來 ， AI 助手最終會普及到每個用戶 。 而沒有人希望 ， 這個能夠幫助人們操作手機的助手 ， 一個能夠掌控各大應用的入口 ， 是某一個平臺獨占的資源 。 豆包手機助手目前被各大 App 限制的現狀 ， 已經給出了信號 。
這是一次新的人機交互革命 ， AutoGLM 開源 ， 把 AI 助手的能力徹底開放 ， 變成全行業的公共底座 。
Open-AutoGLM 的出現 ， 或許就是 AI Agent 領域的「安卓時刻」：它為那個羅永浩曾夢想過的、動動嘴就能搞定一切的 TNT 時代 ， 鋪下了第一塊堅實的開源基石 。
正如智譜所言：「把我們已經走過的路 ， 變成接下來 Agent 爆發時代大家的起跑線 。 」
未來已來 ， 而且這次 ， 它聽你的 。
文中視頻鏈接：https://mp.weixin.qq.com/s/ub9_3OETxNjA7NbSrXdW6Q

    推薦閱讀