通義靈碼軟件工程大模型獲國際頂會杰出論文獎,復雜問題解決率刷新開源紀錄

通義靈碼軟件工程大模型獲國際頂會杰出論文獎,復雜問題解決率刷新開源紀錄

7月3日消息 , 軟件領域國際頂會ISSTA 2025(International Symposium on Software Testing and Analysis)公布了最高獎項-杰出論文獎 , 通義靈碼軟件工程大模型SWE-GPT從500多篇投稿論文中脫穎而出 , 成為唯一獲得該獎項的企業論文 。

軟件開發是大模型落地最快的應用場景之一 , 但現有模型主要基于靜態代碼數據進行訓練 , 缺乏對軟件開發過程中動態交互、工具使用、迭代問題解決和演化特性的深入理解 , 影響了其在真實場景中的實用性 。
據介紹 , 通義靈碼SWE-GPT基座模型為通義千問Qwen2.5 , 在后訓練階段進一步模擬人類程序員的認知過程 , 學習軟件工程領域復雜問題的端到端多步驟解決過程 。 同時 , 團隊創新性采用合成數據進行迭代模型訓練 , 通過模擬真實軟件開發中的動態交互與迭代問題解決過程(如代碼庫理解、故障定位和補丁生成) , 有效解決現有基礎大模型的局限性 。
在模型訓練階段 , 為了增強訓練過程的魯棒性 , 通義靈碼團隊還采用了課程學習的方法 , 隨著迭代的進行 , 逐步加入當前模型未能解決的問題 , 循序漸進提高訓練樣本的復雜度 , 確保模型鞏固基礎能力 。
此前的實驗結果顯示 , 在權威基準SWE-bench-Verified(500項真實GitHub任務)測試中 ,SWE-GPT 72B以 30.20%問題解決率刷新開源紀錄 , 較Llama 3.1 405B提升22.76% , 接近同時期閉源模型GPT-4o的效果 。 不僅如此 , 輕量級SWE-GPT 7B模型以 18.20%的解決率超越Llama 3.1 70B(17.20%) , 展現了小尺寸模型在復雜軟件維護任務中的實用價值 。
更重要的是 , SWE-GPT是一個通用框架 , 可以進行持續拓展 , 比如以其為基礎引入思考能力和測試時擴展(test-time scaling) , 小尺寸(32B)模型在SWE-bench-Verified上可以達到46%的問題解決率 , 接近業界領先的閉源模型 Claude 3.5 Sonnet v2 (46.20%) 和 OpenAI o1 (45.60%)。
ISSTA評審委員會專家點評稱:“ SWE-GPT是一種新穎的以「軟件開發流程為中心」的大語言模型 , 它提出的數據合成方案真實模擬了實際軟件開發過程 , 這是AI輔助軟件開發領域前進的重要一步 。 ”
通義靈碼算法負責人李永彬表示:“基于大模型的軟件工程智能化領域的研究和應用正在快速發展 , 僅靠現有基礎模型仍無法滿足真實場景的需求 , SWE-GPT為AI 輔助軟件開發提出了新范式 。 ”
【通義靈碼軟件工程大模型獲國際頂會杰出論文獎,復雜問題解決率刷新開源紀錄】ISSTA是軟件工程領域最具影響力的學術會議之一 , 該會議匯聚了學術界和工業界在軟件測試、程序分析、代碼質量保障等技術的前沿研究與應用 。 本屆ISSTA共收到550篇投稿 , 最終錄用107篇 , 其中僅有9篇被評為杰出論文 。

    推薦閱讀