1. 首頁 > 生活百科 > >

南加大與Salesforce：CoAct-1讓AI助手實現編

tcl家庭影院Mini LED

南加大與Salesforce：CoAct-1讓AI助手實現編
【南加大與Salesforce：CoAct-1讓AI助手實現編】
這項由南加州大學的宋林鑫等研究者與Salesforce研究團隊合作完成的研究發表于2025年8月 ， 詳細介紹了一種革命性的計算機操作助手系統 。 有興趣深入了解的讀者可以通過論文網址https://linxins.net/coact/訪問完整研究內容 。

想象一下 ， 你有一個超級聰明的助手 ， 不僅能像人類一樣操作電腦界面 ， 還能直接寫程序來完成任務 。 這就是CoAct-1的魅力所在 。 傳統的電腦助手就像一個只會用鼠標點擊的新手 ， 遇到復雜任務時經常手忙腳亂 ， 而CoAct-1就像一個既會用圖形界面又會編程的高手 ， 能夠選擇最合適的方式來解決問題 。

這項研究的意義遠不止技術突破 。 在日常辦公中 ， 我們經常需要進行大量重復性操作 ， 比如整理文件、處理數據表格、批量修改圖片等 。 這些任務用傳統的點擊方式需要很多步驟 ， 容易出錯 ， 而CoAct-1能夠智能選擇是用界面操作還是寫代碼 ， 大大提高效率和準確性 。 研究團隊在OSWorld這個權威測試平臺上驗證了系統性能 ， 結果顯示CoAct-1達到了60.76%的成功率 ， 遠超之前的最佳記錄 ， 同時將平均完成任務的步驟數從15步減少到僅10.15步 。

這種混合式的工作方式就像一個經驗豐富的工匠 ， 既知道什么時候該用精細的手工操作 ， 什么時候該使用自動化工具 。 當面對需要精確視覺判斷的任務時 ， 系統會選擇傳統的界面操作；當遇到大量數據處理或文件管理任務時 ， 系統會編寫程序來快速完成 。 這種智能選擇機制讓計算機助手變得更加實用和可靠 。

一、CoAct-1的核心創新：三個專業助手的完美配合

CoAct-1的設計理念就像組建一個高效的工作團隊 ， 每個成員都有自己的專長 ， 通過協作來完成復雜任務 。 這個團隊由三個關鍵角色組成 ， 它們各司其職又密切配合 。

首先是指揮官角色 ， 在系統中被稱為\"編排者\"（Orchestrator） 。 這個角色就像項目經理一樣 ， 負責理解用戶的需求 ， 將復雜的任務分解成更小的子任務 ， 然后決定每個子任務應該交給誰來完成 。 編排者不能直接操作電腦 ， 但它能夠全局把握任務進展 ， 根據當前情況做出最佳的任務分配決策 。 這就像一個經驗豐富的主廚 ， 知道什么時候該用平底鍋 ， 什么時候該用烤箱 ， 從不直接動手烹飪 ， 但能確保整道菜完美呈現 。

第二個角色是程序員助手（Programmer） ， 這是CoAct-1的核心創新之一 。 傳統的電腦助手只會點擊和輸入 ， 而程序員助手能夠編寫Python和Bash腳本來直接與操作系統交互 。 當編排者將任務分配給程序員助手時 ， 它會開始一個獨立的對話過程 ， 與代碼解釋器進行多輪交互 。 程序員助手會根據任務需求編寫代碼 ， 然后將代碼發送給操作系統執行 ， 獲得執行結果后還能根據反饋進行代碼調整和改進 。 這個過程就像一個專業的程序員在工作 ， 能夠處理文件管理、數據處理、系統配置等復雜任務 。

第三個角色是界面操作員（GUI Operator） ， 負責處理需要視覺判斷和精確操作的任務 。 當編排者認為某個子任務更適合通過圖形界面完成時 ， 就會將任務交給界面操作員 。 這個助手能夠理解屏幕上的各種元素 ， 進行鼠標移動、點擊、鍵盤輸入等操作 。 界面操作員就像一個熟練的電腦用戶 ， 能夠準確識別按鈕、菜單和輸入框 ， 完成各種界面交互任務 。

這三個角色之間的配合機制非常精妙 。 編排者會根據任務的性質和復雜程度來決定分配策略 。 對于需要大量重復操作的任務 ， 比如批量重命名文件或處理數據表格 ， 編排者會優先選擇程序員助手 ， 因為代碼執行速度快且不容易出錯 。 對于需要精確視覺判斷的任務 ， 比如在復雜界面中找到特定按鈕或處理圖像編輯 ， 編排者會選擇界面操作員 。

更重要的是 ， 這個系統具有很強的適應性 。 每次子任務完成后 ， 執行者會向編排者匯報結果和當前系統狀態 。 程序員助手會提供一個簡潔的任務總結 ， 而界面操作員會返回操作結果和屏幕截圖 。 編排者基于這些信息來判斷整體任務是否完成 ， 或者需要繼續分配新的子任務 。 這種反饋機制確保了系統能夠動態調整策略 ， 應對各種突發情況 。

二、突破傳統界面操作的局限性

傳統的電腦助手就像一個只會按圖索驥的新手 ， 必須嚴格按照視覺界面的布局來操作 。 這種方式在處理復雜任務時會遇到很多問題 ， CoAct-1的設計正是為了解決這些根本性局限 。

考慮一個典型的辦公場景：你需要在一個包含多個工作表的Excel文件中找到特定數據 ， 根據復雜條件進行篩選 ， 復制結果 ， 然后保存為新的CSV文件 。 傳統助手需要進行大量的點擊操作：打開文件 ， 切換工作表 ， 設置篩選條件 ， 選擇數據范圍 ， 復制內容 ， 創建新文件 ， 粘貼數據 ， 選擇保存格式 ， 指定文件位置等等 。 每一步都需要精確的視覺定位和操作 ， 任何一個環節出錯都可能導致整個任務失敗 。

這種方式的問題在于累積錯誤概率 。 每次鼠標點擊都有一定的失誤可能 ， 界面元素的識別也可能出現偏差 ， 特別是在復雜的軟件界面中 ， 按鈕和菜單項往往外觀相似 ， 很容易混淆 。 隨著操作步驟的增加 ， 整體成功率會快速下降 。 這就像走鋼絲一樣 ， 路徑越長 ， 掉下去的風險就越高 。

CoAct-1的程序化方法則完全不同 。 對于上述任務 ， 程序員助手可能會編寫一個簡單的Python腳本 ， 直接讀取Excel文件 ， 應用篩選條件 ， 提取數據并保存為CSV格式 。 整個過程只需要幾行代碼 ， 執行時間很短 ， 而且結果完全可預測 。 這就像使用專業工具而不是手工操作 ， 效率和準確性都大大提升 。

另一個典型例子是文件管理任務 。 假設你需要在復雜的目錄結構中找到所有圖片文件 ， 將它們調整為特定尺寸 ， 然后打包壓縮 。 傳統方式需要打開文件管理器 ， 逐個目錄瀏覽 ， 手動選擇圖片文件 ， 使用圖像編輯軟件批量處理 ， 最后創建壓縮包 。 這個過程不僅繁瑣 ， 還容易遺漏文件或操作錯誤 。

程序員助手則可以編寫一個腳本 ， 自動遍歷目錄結構 ， 識別圖片文件 ， 調用圖像處理庫進行尺寸調整 ， 最后創建壓縮包 。 整個過程一氣呵成 ， 不會有遺漏 ， 也不會有操作錯誤 。 更重要的是 ， 這種方法具有很好的重復性 ， 同樣的腳本可以應用到類似的任務中 。

然而 ， CoAct-1并沒有完全拋棄界面操作 。 在某些情況下 ， 圖形界面仍然是最佳選擇 。 比如處理需要實時視覺反饋的任務 ， 或者與專門設計的圖形化工具交互時 ， 界面操作員仍然發揮重要作用 。 關鍵在于系統能夠智能選擇最適合的方法 ， 而不是盲目堅持某一種方式 。

這種混合策略的優勢在實驗結果中得到了充分體現 。 在OSWorld基準測試中 ， CoAct-1在操作系統級任務中達到了79.16%的成功率 ， 在多應用協同任務中達到43.73% ， 在電子郵件處理任務中達到80.00% 。 這些數據表明 ， 程序化方法在適合的場景中能夠顯著提升任務完成率 。

三、實驗驗證：在真實環境中的卓越表現

為了驗證CoAct-1的實際效果 ， 研究團隊選擇了OSWorld這個業界公認的權威測試平臺 。 OSWorld就像一個專門為電腦助手設計的\"駕照考試場\" ， 包含369個不同難度和類型的任務 ， 涵蓋了日常辦公中可能遇到的各種情況 。

這個測試平臺的設計非常貼近真實使用場景 。 每個測試任務都從一個確定的系統狀態開始 ， 就像給每個考生提供相同的起始條件 。 任務描述使用自然語言 ， 模擬用戶的真實需求 ， 比如\"將圖片調整為512×512像素并導出為PNG格式\"這樣的指令 。 更重要的是 ， 系統使用規則化的評估器來判斷任務是否成功完成 ， 確保評分的客觀性和一致性 。

在與當前最先進系統的對比中 ， CoAct-1展現出了明顯的優勢 。 在100步限制的測試中 ， CoAct-1達到了59.93%的成功率 ， 而之前的最佳系統GTA-1只有53.10% 。 更令人印象深刻的是 ， 在更寬松的步數限制下 ， CoAct-1的成功率進一步提升到60.76% ， 創造了新的紀錄 。

這種性能提升在不同類型的任務中表現各異 ， 這恰好驗證了混合策略的有效性 。 在LibreOffice Calc電子表格任務中 ， CoAct-1的成功率達到70.21% ， 遠超GTA-1的59.57% 。 在多應用協同任務中 ， 性能提升更加顯著 ， 從GTA-1的38.34%躍升到CoAct-1的47.88% 。 這些結果表明 ， 程序化方法在數據處理和跨應用操作方面具有顯著優勢 。

特別值得注意的是效率方面的改進 。 CoAct-1完成任務的平均步數僅為10.15步 ， 相比GTA-1的15.22步減少了約33% 。 這種效率提升不僅意味著更快的任務完成速度 ， 也大大降低了出錯的可能性 。 因為每減少一個操作步驟 ， 就減少了一次可能的失誤機會 。

研究團隊還深入分析了不同領域任務中代碼使用的情況 。 結果顯示 ， 在LibreOffice Calc、多應用任務和操作系統級任務中 ， 大部分成功案例都使用了編程方法 。 這說明對于涉及數據處理、文件操作和系統配置的任務 ， 代碼執行確實比界面操作更加可靠和高效 。

然而 ， CoAct-1的成功并不意味著完全拋棄界面操作 。 在某些類型的任務中 ， 比如圖像編輯軟件GIMP的使用 ， 界面操作仍然占據重要地位 。 這證明了系統設計的合理性：不是簡單地用一種方法替代另一種 ， 而是根據任務特點選擇最合適的方法 。

實驗中還發現了一個有趣的現象：任務失敗率與所需步驟數呈正相關關系 。 步驟越多的任務 ， 失敗的可能性就越大 。 這從另一個角度證實了CoAct-1設計理念的正確性：通過減少操作步驟來提高整體成功率 。

研究團隊進一步測試了不同模型組合對系統性能的影響 。 結果顯示 ， 使用更強大的模型作為編排者和程序員助手能夠顯著提升整體性能 。 當使用OpenAI的o3模型作為編排者 ， o4-mini模型作為程序員助手時 ， 系統達到了最佳的60.76%成功率 。 這表明系統的性能上限還有進一步提升的空間 。

四、實際應用中的挑戰與解決方案

盡管CoAct-1在測試中表現優異 ， 但研究團隊也誠實地分析了系統在實際應用中可能遇到的挑戰 。 這些挑戰主要集中在兩個方面：高層次查詢的理解和模糊指令的處理 。

高層次查詢的挑戰就像讓助手理解含蓄的暗示 。 比如用戶說\"請幫我修改VSCode設置 ， 讓我在調試時光標能保持在調試控制臺 ， 而不是自動跳回編輯器\" 。 這個請求看起來很具體 ， 但實際上需要助手理解幾個隱含的概念：調試過程、光標焦點、界面切換等 。 更困難的是 ， 助手需要將\"調試\"概念與\"斷點\"設置聯系起來 ， 找到正確的配置項\"focusEditorOnBrake\" 。

在這個案例中 ， 編排者將任務分配給了程序員助手 ， 程序員助手嘗試通過搜索\"debug\"和\"console\"關鍵詞來找到相關設置 。 然而 ， 它沒能建立起調試和斷點之間的概念聯系 ， 最終沒有找到正確的配置項 。 這個失敗案例揭示了當前AI系統在概念推理方面的局限性 。

類似的情況在人類交流中也經常出現 。 當我們說\"把空調調涼快點\"時 ， 熟悉我們習慣的人知道這意味著降低溫度設定值 ， 而不是增加風速或改變模式 。 但對于不了解背景的人來說 ， 這個指令可能有多種理解方式 。 CoAct-1面臨的正是這樣的挑戰：如何在缺乏充分背景信息的情況下正確理解用戶意圖 。

模糊指令的處理則是另一類挑戰 。 用戶說\"請幫我修改VSCode設置 ， 隱藏資源管理器視圖中所有的'__pycache__'文件夾\" 。 這個指令本身是明確的 ， 但存在歧義：是修改工作區設置還是全局用戶設置？程序員助手成功識別了需要修改設置文件 ， 但錯誤地選擇了工作區設置而不是全局設置 ， 導致任務失敗 。

這種歧義在日常交流中非常常見 。 當朋友說\"幫我買點水果\"時 ， 我們可能需要詢問買什么種類、多少數量、預算多少等具體信息 。 但在人機交互中 ， 用戶往往期望系統能夠智能推測這些細節 ， 或者至少能夠選擇最合理的默認選項 。

為了應對這些挑戰 ， 研究團隊提出了幾個改進方向 。 首先是增強系統的概念推理能力 ， 讓它能夠建立更豐富的概念關聯 。 比如在處理開發環境設置時 ， 系統應該了解調試、斷點、編輯器焦點之間的關系 。 其次是改進歧義處理機制 ， 當遇到模糊指令時 ， 系統應該能夠識別歧義點并選擇最合理的解釋 ， 或者主動向用戶詢問澄清 。

研究團隊還注意到 ， 不同類型的任務對這兩種挑戰的敏感性不同 。 涉及專業領域知識的任務更容易遇到概念理解問題 ， 而日常辦公任務更多面臨指令歧義的挑戰 。 這個觀察為系統優化提供了有價值的方向：可以針對不同任務類型開發專門的處理策略 。

盡管存在這些挑戰 ， CoAct-1在大多數測試案例中的成功表現表明 ， 混合策略的基本思路是正確的 。 系統的失敗往往不是因為選擇了錯誤的執行方式（界面操作vs編程） ， 而是因為對任務需求的理解不夠準確 。 這說明未來的改進重點應該放在提升任務理解和意圖識別能力上 。

五、技術架構的精巧設計

CoAct-1的技術實現就像精密手表的內部結構 ， 每個組件都有明確的功能 ， 同時又完美協調運作 。 整個系統基于AG2框架構建 ， 這是一個專門為多智能體協作設計的平臺 ， 為不同角色之間的通信和協調提供了穩定的基礎 。

系統的內存管理機制特別值得關注 。 每個智能體都維護著自己的對話歷史 ， 就像每個專家都有自己的工作筆記 。 編排者保存著所有任務分配和執行結果的記錄 ， 程序員助手記錄著代碼編寫和調試的完整過程 ， 界面操作員則保留著屏幕操作的歷史 。 這種分布式內存設計確保了每個智能體都能專注于自己的職責 ， 同時避免了信息混亂 。

更巧妙的是系統的內存清理機制 。 每當一個子任務完成后 ， 程序員助手和界面操作員的對話歷史會被清空 ， 讓它們能夠以全新的狀態接受下一個任務 。 這就像專業工人完成一道工序后清理工作臺 ， 為下一道工序做準備 。 這種設計避免了歷史信息的干擾 ， 確保每個子任務都能得到專注的處理 。

系統的通信機制也經過精心設計 。 當程序員助手完成任務時 ， 會生成一個簡潔的總結報告給編排者 ， 而不是原始的技術細節 。 這就像項目團隊中 ， 技術專家向項目經理匯報時會使用管理語言而不是技術術語 。 這種分層通信確保了不同角色之間能夠有效交流 ， 同時避免了信息過載 。

研究團隊在模型選擇上也進行了仔細的考量 。 編排者使用OpenAI的o3模型 ， 這是一個在推理和規劃方面表現優秀的模型 ， 能夠準確理解復雜任務并做出合理的分解決策 。 程序員助手使用o4-mini模型 ， 在代碼生成方面有著出色的表現 ， 同時保持了良好的成本效益平衡 。 界面操作員則使用專門為計算機操作優化的computer-use-preview模型 ， 這個模型在視覺理解和界面交互方面有著特殊的優勢 。

系統還實現了靈活的參數配置 。 程序員助手最多可以進行20輪代碼調試 ， 界面操作員最多執行25個操作步驟 ， 編排者最多進行15輪任務分配 。 這些限制既確保了系統不會陷入無限循環 ， 又為復雜任務留出了足夠的操作空間 。 理論上 ， 系統的最大步數上限是375步 ， 但實際使用中很少接近這個極限 。

代碼執行環境的設計也體現了實用性考慮 。 系統支持Python和Bash腳本執行 ， 這兩種語言覆蓋了大部分系統操作和數據處理需求 。 代碼執行采用遠程服務器模式 ， 既保證了安全性 ， 又提供了充足的計算資源 。 執行結果會實時返回給程序員助手 ， 支持錯誤診斷和代碼修正 。

特別值得一提的是系統的容錯設計 。 當代碼執行出現錯誤時 ， 程序員助手不會簡單地放棄 ， 而是會分析錯誤信息并嘗試修正代碼 。 這種多輪調試機制大大提高了代碼執行的成功率 。 同樣 ， 當界面操作遇到困難時 ， 操作員也會嘗試不同的方法來完成任務 。

系統的可擴展性設計為未來的功能擴展留下了空間 。 新的智能體類型可以很容易地加入到系統中 ， 比如專門處理數據庫操作的智能體或專門處理網絡請求的智能體 。 編排者的決策邏輯也可以根據新的智能體類型進行相應調整 。

六、突破性成果帶來的深遠影響

CoAct-1的成功不僅僅是技術指標上的突破 ， 更代表了人機交互方式的根本性變革 。 這種變革的影響將逐漸滲透到我們工作和生活的各個方面 。

在辦公自動化領域 ， CoAct-1展示了一種全新的可能性 。 傳統的辦公自動化工具通常需要用戶學習復雜的配置方法 ， 或者局限于預設的功能模板 。 而CoAct-1能夠理解自然語言描述的任務需求 ， 自動選擇最佳的執行方式 。 這意味著普通用戶無需掌握編程技能 ， 就能享受到程序化處理的高效和準確性 。

這種能力對中小企業特別有意義 。 很多中小企業缺乏專業的IT人員 ， 但又有大量重復性的辦公任務需要處理 。 CoAct-1這樣的系統能夠充當虛擬的IT助手 ， 幫助這些企業實現辦公流程的自動化 ， 提高工作效率 ， 降低運營成本 。

在教育領域 ， CoAct-1也顯示出巨大的潛力 。 學生可以通過自然語言與系統交互 ， 完成各種學習任務 。 比如整理研究資料、生成學習報告、處理實驗數據等 。 系統不僅能完成具體的任務 ， 還能通過執行過程展示問題解決的思路和方法 ， 具有很強的教學價值 。

更重要的是 ， CoAct-1代表了AI系統從單一模態向多模態融合的重要轉變 。 傳統的AI系統要么專注于語言理解 ， 要么專注于視覺識別 ， 要么專注于代碼生成 。 CoAct-1成功地將這些能力整合在一個統一的框架中 ， 根據任務需求動態選擇合適的能力組合 。 這種設計思路為未來的AI系統發展提供了重要的參考 。

從技術發展的角度來看 ， CoAct-1驗證了多智能體協作的有效性 。 與試圖構建一個\"萬能\"AI系統相比 ， 讓多個專門化的AI系統協作可能是一個更現實和更有效的路徑 。 這種思路符合人類團隊協作的模式 ， 也為AI系統的可擴展性和可維護性提供了更好的解決方案 。

系統的高效性也具有重要的環境意義 。 通過減少任務完成所需的步驟 ， CoAct-1不僅節省了時間 ， 也減少了計算資源的消耗 。 在大規模應用時 ， 這種效率提升能夠顯著降低能源消耗和碳排放 ， 符合可持續發展的要求 。

然而 ， 這種技術進步也帶來了新的思考 。 隨著AI系統變得越來越能干 ， 我們需要重新考慮人機分工的邊界 。 CoAct-1能夠完成很多原本需要專業技能的任務 ， 這可能會改變某些職業的技能要求 。 同時 ， 我們也需要思考如何確保AI系統的決策過程是透明和可控的 ， 特別是在處理重要或敏感任務時 。

安全性是另一個需要持續關注的問題 。 CoAct-1具有執行代碼的能力 ， 這在提供強大功能的同時 ， 也帶來了潛在的安全風險 。 研究團隊采用了遠程執行環境來隔離風險 ， 但在實際部署時還需要更完善的安全措施和監控機制 。

展望未來 ， CoAct-1的成功為更多領域的應用打開了大門 。 在智能家居、工業自動化、醫療健康等領域 ， 都可能出現類似的混合智能系統 。 這些系統將能夠更自然地理解人類需求 ， 更靈活地選擇執行方式 ， 更可靠地完成復雜任務 。

說到底 ， CoAct-1最大的價值在于它證明了一個重要觀點：AI系統不需要追求單一維度的極致表現 ， 而應該追求在實際應用中的綜合效果 。 通過巧妙地結合不同方法的優勢 ， 我們能夠創造出更實用、更可靠的AI助手 。 這種設計哲學將繼續指導未來AI系統的發展方向 ， 讓人工智能真正成為提升人類生活質量的強大工具 。

對于普通用戶而言 ， CoAct-1代表的不僅僅是一個更好的工具 ， 更是一種全新的工作方式 。 我們不再需要遷就工具的限制 ， 而是可以用自然的方式表達需求 ， 讓智能系統來選擇最佳的實現方法 。 這種改變將讓技術真正服務于人 ， 而不是讓人適應技術 。 隨著這類系統的不斷完善和普及 ， 我們有理由相信 ， 未來的人機協作將變得更加自然、高效和愉快 。

Q&A

Q1：CoAct-1與傳統電腦助手有什么區別？

A：傳統電腦助手只能通過點擊鼠標和鍵盤輸入來操作界面 ， 就像只會按圖索驥的新手 。 而CoAct-1不僅能進行界面操作 ， 還能編寫Python和Bash代碼直接與系統交互 ， 就像一個既會用圖形界面又會編程的高手 ， 能根據任務特點選擇最合適的方法 。

Q2：CoAct-1在實際測試中表現如何？

A：在OSWorld權威測試平臺上 ， CoAct-1創造了60.76%的新紀錄 ， 遠超之前最佳系統GTA-1的53.10% 。 更重要的是 ， CoAct-1完成任務的平均步數僅為10.15步 ， 比GTA-1的15.22步減少了約33% ， 既提高了成功率又提升了效率 。

Q3：CoAct-1如何決定用界面操作還是編寫代碼？

A：CoAct-1有一個\"編排者\"角色充當智能指揮官 ， 它會分析任務特點并做出決策 。 對于數據處理、文件管理等重復性任務 ， 會選擇編程方式；對于需要精確視覺判斷的任務 ， 會選擇界面操作 。 這種智能選擇讓系統在不同場景下都能發揮最佳效果 。

    推薦閱讀