近期 ， 谷歌跨平臺機器學(xué)習(xí)應(yīng)用開發(fā)框架MediaPipe為XR開發(fā)者提供KNIFT和Objectron兩種工具 ， 并引入高級AI框架來提升3D目標(biāo)追蹤 。 該功能將為AR/VR應(yīng)用帶來手勢追蹤、面部追蹤、姿態(tài)追蹤和目標(biāo)追蹤等功能 。
據(jù)青亭網(wǎng)了解 ， MediaPipe是谷歌在2019年推出的AI框架 ， 主要用來檢測3D空間的人和物體 ， 并通過機器學(xué)習(xí)方案來追蹤目標(biāo) ， 將2D數(shù)據(jù)轉(zhuǎn)換為3D空間結(jié)構(gòu) 。 MediaPipe的跨平臺兼容性好 ， 支持安卓、iOS等系統(tǒng)的AR/VR開發(fā)工具 。 除此之外 ， 谷歌還推出Apache 2.0開源框架 ， 為開發(fā)者提供完全可定制的XR項目 。
MediaPipe提供的各類3D追蹤功能 ， 可以用于AR/VR內(nèi)容開發(fā) 。 其中包含的主要XR功能包括：人臉檢測、人臉網(wǎng)格、虹膜檢測、手部檢測、姿勢檢測、整體檢測、自拍分割、頭發(fā)分割、物體檢測、方格追蹤、即時運動追蹤、Objectron（對象框跟蹤）、KNIFT、AutoFlip、MediaSequence等等 。
其中 ， KNIFT全稱為關(guān)鍵點神經(jīng)不變特征變換 ， 主要作用是增強對象檢測效果、幫助理解物體上的信息 ， 可匹配現(xiàn)實世界對象（例如停車標(biāo)志）上顯示的信息 ， 并作為空間數(shù)據(jù)進(jìn)行傳遞 。 而Objectron則是將2D圖像中的對象轉(zhuǎn)化為實時3D（RT3D）數(shù)據(jù)點 ， 并通過機器學(xué)習(xí)算法來預(yù)測對象的姿勢變化 。 此外 ， Objectron可根據(jù)2D視頻片段跟蹤戶外空間/環(huán)境 。
【Google|谷歌機器學(xué)習(xí)應(yīng)用框架MediaPipe增強3D對象追蹤功能】值得注意的是 ， 谷歌曾將MediaPipe與各種內(nèi)部項目集成 ， 比如去年推出的Art Filter應(yīng)用 ， 利用MediaPipe工具將任意物品轉(zhuǎn)化成經(jīng)典藝術(shù)品 。 谷歌SignAll也集成了MediaPipe服務(wù) ， 用于追蹤和讀取手語 。
相關(guān)經(jīng)驗推薦
- |不出意外就會出意外，Google 不小心又把Pixel 7 Pro 泄露了
- 機器視覺|圍攻“智能制造”，機器視覺的后起之秀
- 機器人|比亞迪訂單太多，國際機器人巨頭發(fā)那科接單接到手軟
- 機器人|從5699元跌至2829元，8P鏡頭+2K屏+IP68防水，你想要的都有了！
- 機器|美版iPhone在國內(nèi)到底能不能保修？記錄一次美版機器國內(nèi)保修經(jīng)歷
- 機器人|天璣810+水滴屏賣2K，OPPO又在收割智商稅
- 機器人|空調(diào)加氟圖文教程
- |不愧是臺積電！看了小米12S系列用戶反饋，驍龍8 Plus的機器可以沖
- 空調(diào)|夏季空調(diào)制冷不給力？可能不是機器壞了，教你一招自己在家就搞定
- 掃地機器人|1.52銅線能帶動單相1.5P的空調(diào)？