1. 首頁 > 生活百科 > >

智能頭戴設備AiSee為視障人士提供全新\視覺\體驗

ai耳機meta

智能頭戴設備AiSee為視障人士提供全新\視覺\體驗

新加坡國立大學(NUS)的研究人員開發了一款名為AiSee的可穿戴輔助設備 ， 該設備利用Meta的Llama大語言模型幫助視障人士\"看見\"周圍的世界 。
這款頭戴式設備外形類似耳機 ， 配備了攝像頭 ， 作為人工智能伙伴幫助用戶處理視覺信息 ， 融入他們的日常生活 ， 甚至幫助他們重返職場 。
AiSee最初在2018年被設計為戴在手指上的智能戒指 ， 后來演變為開放式耳機形態 。 領導研究團隊的新加坡國立大學信息系統與分析學系教授Suranga Nanayakkara表示 ， 選擇這種設計而非眼鏡等其他方案 ， 是為了避免潛在的社會歧視 ， 更重要的是保持用戶耳朵暢通 ， 通過聲音保留他們天然的空間感知能力 。
基于用戶反饋 ， 該設計得到進一步改進 ， 解決了頭發遮擋攝像頭和電池續航不足等問題 。 最新版本還具備標準耳機功能 ， 可播放音樂和接聽電話 ， AI功能可按需使用 。
【智能頭戴設備AiSee為視障人士提供全新\視覺\體驗】Nanayakkara表示 ， 這種雙重功能設計增強了AiSee的實用性和用戶吸引力 。 \"開發一個每天只用一次或每周用幾次的產品沒有意義 ， 我們更多地將其打造為智能耳機 。 \"
AiSee的重大突破是集成了大語言模型 ， 將設備從簡單的物體識別器轉變為對話式助手 。 這使用戶不僅能識別物體 ， 還能就此提出后續問題 。
該設備運行智能體AI框架 ， 計算機視覺和推理模型與Llama模型協同工作 ， 理解用戶意圖并執行任務 。 為了在基于Android的設備上高效運行Llama ， 團隊使用量化技術將模型規?？s減至10億到30億參數 。
AiSee首席技術官Hussel Suriyaarachchi表示 ， 智能體框架具有足夠靈活性 ， 可以整合更新的Llama版本 。 \"如果它能與Llama 3.2兼容 ， 我們可以輕松地用更新版本替換模型 ， 因為Llama的底層架構是相似的 。 \"
選擇使用Llama的決定源于公司視障員工的反饋 ， 特別是離線處理敏感文檔的需求 。 Nanayakkara解釋道：\"如果你是盲人 ， 收到新的勞動合同 ， 你希望理解合同內容并提出問題 ， 但你不希望將其掃描并上傳到云端 。 這就是我們選擇使用Llama ， 特別是可以在設備上運行的小型模型的原因 。 \"
AiSee獲得了新加坡國立大學研究生研究創新計劃的支持 ， 并獲得了影響力投資者的資金 。 該公司贏得了2024年Meta Llama影響創新獎 ， 目前正與博物館和機場運營商等組織洽談 ， 使其空間更具包容性 ， 并計劃很快推出消費者版本 。 公司還與東南亞超級應用Grab合作 ， 創建基于語音的叫車系統 。
目前 ， AiSee尚未開發超出Llama可用范圍的本地語言支持 ， 不過最近收到了阿聯酋一家基金會關于本地化選項的請求 。
Nanayakkara展望AiSee的未來將超越輔助技術 ， 成為每個人都能使用的視覺智能工具 。 \"我們預見這不僅僅是盲人設備 ， \"他引用了\"路緣坡道效應\" ， 即為殘障人士設計的功能往往在消除限制后會惠及普通大眾 。 \"AiSee的商業成功不會局限于輔助技術 ， 而是作為一種無需手動操作和屏幕的輕松計算方式 。 \"
Q&A
Q1：AiSee是什么？它有什么功能？
A：AiSee是新加坡國立大學開發的智能頭戴設備 ， 外形類似耳機 ， 配備攝像頭和AI功能 。 它利用Meta的Llama大語言模型幫助視障人士\"看見\"周圍世界 ， 不僅能識別物體 ， 還能進行對話式交流 ， 同時具備播放音樂和接聽電話等標準耳機功能 。
Q2：AiSee為什么選擇頭戴式設計而不是眼鏡？
A：研究團隊選擇開放式耳機形態而非眼鏡等方案 ， 主要是為了避免潛在的社會歧視 ， 更重要的是保持用戶耳朵暢通 ， 通過聲音保留他們天然的空間感知能力 ， 這對視障人士來說至關重要 。
Q3：AiSee使用哪種AI技術？有什么特殊優勢？
A：AiSee使用Meta的Llama大語言模型 ， 采用智能體AI框架 ， 計算機視覺和推理模型協同工作 。 其特殊優勢是支持離線處理 ， 用戶可以在設備上直接處理敏感文檔而無需上傳云端 ， 保護隱私安全 。


    推薦閱讀