智元機(jī)器人發(fā)布首個(gè)大語言模型驅(qū)動(dòng)的開源仿真平臺(tái)Genie Sim 3.0_人工智能|華為Nova|anthropic

文章圖片

文章圖片

當(dāng)仿真環(huán)境的真實(shí)性逼近物理世界，當(dāng)場(chǎng)景構(gòu)建的效率以“自然對(duì)話”和“分鐘”來衡量，具身智能的研發(fā)范式將發(fā)生根本性改變。智元機(jī)器人在CES國際消費(fèi)電子展首日正式發(fā)布首個(gè)大語言模型驅(qū)動(dòng)的開源仿真平臺(tái)——Genie Sim 3.0 。基于NVIDIA Isaac Sim，Genie Sim 3.0 融合三維重建與視覺生成，打造數(shù)字孿生級(jí)的高保真環(huán)境；首創(chuàng)大語言模型驅(qū)動(dòng) ，讓萬級(jí)場(chǎng)景的生成只需幾分鐘；同步開源包含真實(shí)機(jī)器人作業(yè)場(chǎng)景的上萬小時(shí)仿真數(shù)據(jù)集；并構(gòu)建了覆蓋10萬+場(chǎng)景的多維度智能評(píng)估體系，為模型能力繪制全景畫像。
從數(shù)字資產(chǎn)生成、場(chǎng)景泛化、數(shù)據(jù)采集到自動(dòng)評(píng)測(cè)的全流程功能，這一整套完整閉環(huán)的解決方案，將顯著加速模型訓(xùn)練驗(yàn)證，降低對(duì)物理硬件的依賴，助力開發(fā)者與研究者的研發(fā)效率，推動(dòng)具身智能的創(chuàng)新應(yīng)用。
項(xiàng)目主頁：https://agibot-world.com/genie-sim
Github: github.com/AgibotTech/genie_sim
Modelscope: https://modelscope.cn/datasets/agibot_world/GenieSim3.0-Dataset

五大核心亮點(diǎn) ，開啟具身仿真新紀(jì)元01/ 數(shù)字孿生級(jí)高保真仿真環(huán)境
傳統(tǒng)仿真難以兼顧視覺逼真與物理真實(shí) 。 Genie Sim 3.0 開創(chuàng)性地將三維重建、視覺生成技術(shù)與物理引擎深度融合，實(shí)現(xiàn)了視覺真實(shí)感與物理精確性的統(tǒng)一。
精準(zhǔn)重建：依托 MetaCam 手持3D激光掃描儀，結(jié)合高分辨率RGB、360° LiDAR點(diǎn)云與厘米級(jí)RTK定位，實(shí)現(xiàn)對(duì)真實(shí)環(huán)境的毫米級(jí)精準(zhǔn)復(fù)刻。
視覺增強(qiáng)：利用視覺生成模型，智能合成新視角圖像增強(qiáng)3D重建，極大提升了仿真環(huán)境的視覺逼真度。
資產(chǎn)生成：對(duì)于任意物體，僅需一段60秒環(huán)拍視頻，即可快速生成帶精確網(wǎng)格的仿真模型，大幅提升場(chǎng)景構(gòu)建效率。
02/ 首創(chuàng)自然語言驅(qū)動(dòng)的場(chǎng)景生成與泛化
告別手動(dòng)編寫復(fù)雜邏輯的場(chǎng)景生成方式，在Genie Sim平臺(tái)中，開發(fā)者輸入自然語言指令即可驅(qū)動(dòng)平臺(tái)在分鐘級(jí)內(nèi)自動(dòng)生成、泛化成千上萬個(gè)訓(xùn)練與測(cè)試場(chǎng)景。
對(duì)話式創(chuàng)建：直接輸入如「生成一份蛋白質(zhì)和維生素含量豐富的晚餐」的指令，平臺(tái)自動(dòng)理解并構(gòu)建出結(jié)構(gòu)化的仿真場(chǎng)景。
智能編輯與泛化：生成場(chǎng)景自帶結(jié)構(gòu)化信息與視覺預(yù)覽，可進(jìn)一步通過對(duì)話進(jìn)行場(chǎng)景增廣、細(xì)節(jié)增刪、布局調(diào)整，最終輸出滿足要求的仿真場(chǎng)景。

03/ 全量開源仿真數(shù)據(jù)集與高效采集方案具身領(lǐng)域最大規(guī)模開源仿真數(shù)據(jù)集，涵蓋200余項(xiàng)任務(wù)、總時(shí)長上萬小時(shí) ，為模型研發(fā)提供堅(jiān)實(shí)的數(shù)據(jù)基石。
多維度數(shù)據(jù)：數(shù)據(jù)集包含RGB-D、雙目視覺、全身關(guān)節(jié)狀態(tài)等多傳感器信息，并覆蓋背景、布局、光照、噪聲等多種泛化維度。
智能采集工具：平臺(tái)提供低延遲遙操作與自動(dòng)任務(wù)編排雙模式采集，結(jié)合自動(dòng)化標(biāo)注實(shí)現(xiàn)高效數(shù)據(jù)生產(chǎn) 。
【智元機(jī)器人發(fā)布首個(gè)大語言模型驅(qū)動(dòng)的開源仿真平臺(tái)Genie Sim 3.0】獨(dú)創(chuàng)錯(cuò)誤恢復(fù)機(jī)制：任務(wù)失敗后可自動(dòng)回退至關(guān)鍵節(jié)點(diǎn)續(xù)采，將數(shù)據(jù)采集損耗降至最低。
零樣本Sim2Real：仿真數(shù)據(jù)訓(xùn)練完成后，實(shí)現(xiàn)零樣本遷移到真實(shí)世界，任務(wù)成功率超過真實(shí)數(shù)據(jù)訓(xùn)練。

04/ 超十萬仿真場(chǎng)景，勾勒模型全景能力畫像模型評(píng)估不再僅限于“成功率” 。 Genie Sim Benchmark 3.0 構(gòu)建了基于 10萬+ 仿真場(chǎng)景的立體評(píng)估體系，結(jié)合LLM與VLM技術(shù) ，從多個(gè)維度為模型繪制深度能力畫像，是當(dāng)前業(yè)界覆蓋最全面、最權(quán)威的具身智能模型評(píng)估基準(zhǔn) 。
自動(dòng)化評(píng)測(cè)生成：評(píng)測(cè)指令與步驟可由LLM根據(jù)場(chǎng)景語義自動(dòng)生成，并轉(zhuǎn)化為可執(zhí)行流程。
多維度深度評(píng)估：通過視覺語言模型（VLM），從語義理解、空間推理、操作精度、時(shí)序邏輯等多維度進(jìn)行綜合評(píng)價(jià) ，清晰揭示模型的能力邊界與薄弱環(huán)節(jié) ，指引明確的優(yōu)化方向。

虛實(shí)一致的評(píng)測(cè)結(jié)果：仿真與真實(shí)世界評(píng)測(cè)差異10% ，模型驗(yàn)證無需真機(jī)部署，顯著提升算法評(píng)測(cè)效率。
05/ 涵蓋真實(shí)作業(yè)場(chǎng)景仿真基于智元的規(guī)模化商用和工業(yè)落地經(jīng)驗(yàn) ， Genie Sim 3.0 是首個(gè)深度集成真實(shí)作業(yè)場(chǎng)景仿真數(shù)采與評(píng)測(cè)的開源平臺(tái) ，打通從實(shí)驗(yàn)室算法到工業(yè)應(yīng)用落地。
真實(shí)作業(yè)場(chǎng)景還原：平臺(tái)包含超市上貨、物流分揀、電力巡檢、物料搬運(yùn)、產(chǎn)線裝配等多個(gè)工業(yè)場(chǎng)景的機(jī)器人作業(yè)環(huán)境。
全流程仿真驗(yàn)證：基于重建資產(chǎn)快速生成訓(xùn)練數(shù)據(jù)集與全流程評(píng)測(cè)系統(tǒng) ，大幅降低數(shù)據(jù)采集成本與算法驗(yàn)證周期，實(shí)現(xiàn)“零硬件部署，全真實(shí)驗(yàn)證” 。

建開源共享，共創(chuàng)智能未來Genie Sim 3.0 仿真平臺(tái)核心代碼、海量高價(jià)值數(shù)據(jù)集以及數(shù)字資產(chǎn)全面開源，向全球開發(fā)者、研究者與產(chǎn)業(yè)伙伴開放。
無論您是高校實(shí)驗(yàn)室的研究者，還是具身智能領(lǐng)域的算法工程師，或是來自制造業(yè)、物流業(yè)等領(lǐng)域的集成應(yīng)用專家， Genie Sim 3.0旨在讓每一位具身智能的探索者，都能擁有接近無限的仿真場(chǎng)景、逼近真實(shí)的訓(xùn)練環(huán)境、科學(xué)全面的評(píng)估標(biāo)尺，從而將精力更聚焦于算法與模型本身的創(chuàng)新。
開發(fā)者可訪問GitHub開源主頁：github.com/AgibotTech/genie_sim ，獲取代碼、數(shù)據(jù)集與詳細(xì)文檔。

智元機(jī)器人發(fā)布首個(gè)大語言模型驅(qū)動(dòng)的開源仿真平臺(tái)Genie Sim 3.0

推薦閱讀

無可奈何花落去似曾相似燕歸來賞析分析無可奈何花落去似曾相似燕歸來

軟化水設(shè)備有什么作用

換乘可以買學(xué)生票嗎

微信紅包封面開放平臺(tái)在哪里

塑料杯子的茶垢怎么清除，塑料杯子的茶垢怎么清除視頻

一般高層幾層是槽鋼層

年終總結(jié)結(jié)尾怎么寫

柚子剝開后怎么保存

微信聊天怎么錄音

投電視怎么連接電視機(jī) 如何將電腦投影到電視上

為什么大城縣房價(jià)那么高，河北省大城縣房價(jià)多少

蘆筍冷凍后還能吃嗎，食物解凍后還能再次冷凍食用嗎

宏基平板電腦，宏碁平板電腦好用嗎

酒店早餐臺(tái)圖片,五星級(jí)酒店的含早

鼻子不通氣有沒有小妙招鼻子不通氣8個(gè)小妙招鼻子不通氣怎么辦

小編分享蘋果如何關(guān)閉就寢鬧鐘。