文章圖片
文章圖片
文章圖片
扎克伯格在訪談中曾指出下一代Quest的重點是面部和眼球追蹤技術 ， Project Cambria也將配備眼球追蹤技術 。 盡管如此 ， 眼球追蹤依然是Meta需要解決的一大研發難題 ， 這項技術在普遍適用性、延遲、準確性等方面都存在挑戰 。
從Meta Reality Labs公布的最新論文來看 ， 其正在探索一種基于事件相機的眼球追蹤方案 。 那么什么是事件相機呢？它的英文名為Event Camera ， 是近幾年來出現的相機技術 。
事件相機與傳統相機的數據回傳格式不同 ， 它采用一種異步的通訊方式 ， 也就是說設備之間的時鐘不同步 ， 事件相機不是事實回傳捕捉到的數據 ， 而是在捕捉到亮度等像素變化（事件）時 ， 才會回傳數據 。
簡單來講 ， 事件相機類似于人眼的工作原理 ， 主要功能是捕捉物體的變化或運動 。
Meta指出 ， 事件相機可以低功率運行 ， 響應延遲可降低至微秒級 。 這些特性有望解決現有眼球追蹤技術在實時性、功耗上的局限 ， 甚至有望帶來適合AR/VR頭顯等移動設備的眼球追蹤技術 。
關于Meta眼球追蹤方案
目前 ， 眼球追蹤系統常見的設計是采用閃爍的燈光照亮角膜來捕捉數據 ， 這種方案只需要稀疏的數據即可運行 。 這說明眼球追蹤系統的采樣率不需要非常高 ， 因此科研人員預計即使用事件相機也足夠 ， 盡管事件相機在捕捉到運動時才拍照 ， 但只要捕捉到關鍵數據 ， 也能計算出眼球變化 。
該方案與傳統眼球追蹤技術最大的區別是 ， 它沒有固定的采樣率 ， 也不是對所有像素采樣 ， 而是主要回傳像素亮度的變化數據（帶有時間信息） ， 在變化產生時才會采樣 。 盡管采集的數據較少 ， 但準確性和效率足夠好 。
事件相機的另一個優勢是具有高動態范圍（≈120dB） ， 幾乎沒有運動模糊 ， 而且比傳統相機功率更低 ， 延遲可低至亞毫秒級別 。
Meta表示：這是首個完全基于事件的角膜閃爍/眼球追蹤方案 。 其原理是 ， 光源照在眼角膜上 ， 產生的反射光進入圖像傳感器中 ， 顯示為可見的數據 。 這些數據可以用于定位角膜的運動 ， 從而預測注視點 。
加密的差別照明
科研人員指出 ， 眼睛通常由兩種表面組成：1）像鏡面一樣的角膜 ， 可對光源產生鏡面反射；2）皮膚、虹膜和鞏膜等朗伯表面 ， 它們會漫反射光線 。
在追蹤眼球過程中 ， 為了避免光源照到皮膚、虹膜、鞏膜等其他部位而產生誤差 ， 該方案采用的每個光源都有配套的補償光系統 ， 以保持總亮度不變 。 在不影響角膜的鏡面反射的情況下 ， 抑制了場景漫反射產生的事件 。
為此 ， Meta設計了名為“加密的差別照明”（Coded Differential Lighting）的照明方案 ， 特點是可增強鏡面反射事件 ， 同時抑制其他事件 ， 而且在事件觸發時才閃爍 ， 在標準硬件上的采樣率為kHz級 。
該方案采用雙LED光源 ， 可提升角膜鏡面反射檢測的效率、準確性 。 為了照到光源和角膜反光/閃爍的對應關系 ， 其采用二進制模式 ， 讓光源脈沖在兩個周期運行 。
相關經驗推薦
- 銘瑄|小米11 Ultra的相機太強！放在今年仍然是影像機皇的存在
- 華為|華為相機技術成功的三大核心因素：技術創新造就領導者
- iPhone 14 Pro|iPhone14Pro外觀曝光，終于去掉了劉海，相機大升級
- 尼康|為什么尼康Z 9依然是我最喜歡的相機？
- gtx|iPhone換用上48MP相機，你還相信“高像素無用”論嗎？
- 抖音|百元機上1億相機？realme新機太狠了！紅米跟不跟？
- 便攜相機|高端顯卡一夜暴跌35%，游戲玩家和“等等黨”們贏了？
- 相機|美的集團有擔當有底氣: 家電維修服務, 多收費雙倍賠
- 小米科技|3999元買小米“相機”，也是一臺旗艦手機！米粉：心動的感覺！
- 相機|分析聯想戴爾華碩新品游戲本：DDR5+雙顯三模，7K預算選這款最香