北京人形機器人創新中心VLA模型首個通過具身智能國標測試


新京報貝殼財經訊(記者韋博雅)11月11日晚 , 據北京人形機器人創新中心公眾號消息 , 11月7日 , 由中國電子技術標準化研究院基于編制中的國家標準《人工智能具身智能大模型系統技術要求》正式發布了“求索”具身智能測評基準EIBench , 同時邀請了多家國內頂尖具身智能團隊參與了首次測評 。 在本次測評中 , 北京人形機器人創新中心的XR-1模型成為唯一一個通過測試的VLA模型 , 獲得CESI-CTC-20251103具身智能測試證書 , 也成為全國首個通過測試的VLA模型 。
據介紹 , “求索”具身智能測評基準EIBench聚焦數據格式、具身智能大模型、安全及可信賴度等 , 形成基于國家標準的測評指標體系 。 該標準在模型側主要面向VLA和VLM兩類具身智能大模型 。 在模型方面 , EIBench形成了“三個一”的測評準則 , 包括一條標準化流程 , 實現可復現的公平評測 , 建設了評測任務確定-訓練數據采集-模型定向訓練-任務真機測試-測試結果分析的標準化流程;一個綜合任務庫 , 覆蓋多維度復雜場景;一套測試指標 , 量化模型綜合性能 。 在安全方面 , 建立了包括可控性、魯棒性、可問責性、隱私保護、功能安全、韌性等14項一級指標 。
在測試中 , XR-1共在天工2.0、UR、Franka等三款機器人上 , 針對取放、推拉、旋轉、插入等雙臂技能進行基礎測試 , 以及物體顏色、位置、姿態 , 環境亮度、色溫 , 背景、干擾物等七大維度的泛化測試 , 一致通過 。 每項測試定量采集40-50條少量數據 , 在每個任務每項測試維度進行10次以上的真機測試 , 測試全程由中國電子技術標準化研究院專家參與 , 在流程設計和實際執行層面均做到了標準化公平可復現 。
【北京人形機器人創新中心VLA模型首個通過具身智能國標測試】校對 楊利

    推薦閱讀