告別靜態(tài)操控：新型AI可穿戴貼片，可在運(yùn)動(dòng)中識(shí)別手勢(shì)控制機(jī)械臂_大疆|3D打印

文章圖片

文章圖片

文章圖片

文章圖片

美國加州大學(xué)圣地亞哥分校（UCSD）徐升教授對(duì) DeepTech 表示：“很榮幸我們的工作成為 Nature Sensors 期刊的首篇論文，我們第一次通過 AI 的方法實(shí)現(xiàn)了在動(dòng)態(tài)下抗運(yùn)動(dòng)偽影的人機(jī)交互，應(yīng)用場(chǎng)景包括可穿戴和移動(dòng)設(shè)備的手勢(shì)控制、機(jī)器人遙操作、AR/VR 動(dòng)作追蹤、游戲、康復(fù)與輔助設(shè)備、工業(yè)與軍事訓(xùn)練、健康與運(yùn)動(dòng)監(jiān)測(cè)、智能家居控制及汽車手勢(shì)交互等領(lǐng)域，為現(xiàn)實(shí)生活和專業(yè)應(yīng)用提供了精確而高效的交互方式。 ”

圖丨徐升課題組（來源：課題組）

近期，徐升團(tuán)隊(duì)開發(fā)了一種通過深度學(xué)習(xí)增強(qiáng)的可穿戴傳感器，可構(gòu)建在多種動(dòng)態(tài)條件下均具備強(qiáng)抗運(yùn)動(dòng)偽影能力的人機(jī)交互界面。該設(shè)備以柔性電子貼片的形式貼附在用戶前臂，通過無線方式實(shí)時(shí)捕捉動(dòng)作信號(hào)并驅(qū)動(dòng)外部機(jī)器人執(zhí)行精確操作。

簡單來理解，它像是一個(gè)通用的“手勢(shì)翻譯官” ，即便是在奔跑、高頻振動(dòng)、游泳或行駛的汽車等高度動(dòng)態(tài)的環(huán)境下，也可以通過無線捕捉和傳輸手勢(shì)信號(hào) ，并將提取的手勢(shì)信號(hào)轉(zhuǎn)換為實(shí)時(shí)、連續(xù)的基礎(chǔ)控制機(jī)械手臂動(dòng)作。而面對(duì)一些相對(duì)復(fù)雜的動(dòng)作，則可以將這些基礎(chǔ)動(dòng)作像搭樂高積木那樣一步步組合完成。

實(shí)驗(yàn)結(jié)果顯示，該系統(tǒng)實(shí)現(xiàn)了一系列優(yōu)異的性能：手勢(shì)識(shí)別的準(zhǔn)確率達(dá) 94%；新用戶僅需坐姿和臥姿兩個(gè)樣本就能完成模型微調(diào) ，大幅度減少了數(shù)據(jù)采集時(shí)間；從手勢(shì)信號(hào)捕捉到機(jī)器人手臂響應(yīng)的延遲約 1.3 秒可滿足實(shí)時(shí)控制的需求；電池性能方面，可拉伸電池在 60 個(gè)循環(huán)后容量保持在約 25 mAh ，庫侖效率近 100% ，可支持設(shè)備 4 小時(shí)以上的連續(xù)運(yùn)行。

（來源：課題組）

該研究通過減輕運(yùn)動(dòng)偽影帶來的影響，突破了此前在運(yùn)動(dòng)／震動(dòng)環(huán)境下難以應(yīng)用的瓶頸，并展示了可穿戴人機(jī)交互界面在復(fù)雜真實(shí)世界應(yīng)用中的潛力，也為設(shè)計(jì)新的手勢(shì)識(shí)別平臺(tái)或系統(tǒng)提供了一種新的思路。

例如在醫(yī)療領(lǐng)域，通過該技術(shù)為帕金森患者或康復(fù)中行動(dòng)不便的患者在動(dòng)態(tài)環(huán)境下，通過手勢(shì)精確控制設(shè)備等方面提供幫助。另一方面，該研究拓寬了控制行為的應(yīng)用場(chǎng)景，在動(dòng)態(tài)環(huán)境下擴(kuò)展了手勢(shì)識(shí)別控制的適用模式。傳統(tǒng)的手勢(shì)識(shí)別技術(shù)（例如娛樂）大多基于靜止?fàn)顟B(tài)進(jìn)行識(shí)別和控制，而在游泳、跑步、跳躍等特殊場(chǎng)景下也可以進(jìn)行精準(zhǔn)識(shí)別和控制。

近日，相關(guān)論文以《一種基于深度學(xué)習(xí)增強(qiáng)型可穿戴傳感器的抗運(yùn)動(dòng)偽影人機(jī)交互界面》（A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors）為題發(fā)表在 Nature Sensors[1
。

UCSD 博士后研究員陳相君、樓之源（UCSD 碩士畢業(yè)生，現(xiàn)英國帝國理工學(xué)院博士研究生）、郜曉翔博士（現(xiàn)東南大學(xué)青年首席教授）和尹鹿博士（UCSD 博士畢業(yè)生，現(xiàn) Persperion Diagnostics 公司 CEO）是共同第一作者，徐升教授和 Joseph Wang 教授擔(dān)任共同通訊作者。

圖丨相關(guān)論文（來源：Nature Sensors）

靈感溯源：從海上營救到普適性抗噪探索

該研究源于一個(gè)科研設(shè)想：能否在海浪環(huán)境下進(jìn)行精準(zhǔn)的手勢(shì)識(shí)別操作？這有望在海上營救或其他活動(dòng)中發(fā)揮關(guān)鍵的作用。

研究人員的靈感最初來源于潛水員控制水下機(jī)器人，他們進(jìn)一步提出，該課題或許可拓展至全領(lǐng)域——在海浪中會(huì)產(chǎn)生噪聲，實(shí)際上在跑步等運(yùn)動(dòng)中也會(huì)產(chǎn)生類似的運(yùn)動(dòng)干擾。進(jìn)一步地，他們?cè)谖墨I(xiàn)調(diào)研過程中發(fā)現(xiàn) ，幾乎沒有在運(yùn)動(dòng)或較大震動(dòng)環(huán)境下進(jìn)行手勢(shì)識(shí)別的相關(guān)研究。

該團(tuán)隊(duì)意識(shí)到這是一個(gè)硬件上的關(guān)鍵挑戰(zhàn)：慣性測(cè)量單元需要既記錄用戶運(yùn)動(dòng)（如走路）也記錄手勢(shì)施動(dòng)時(shí)的信號(hào) 。為解決該問題，研究團(tuán)隊(duì)利用深度學(xué)習(xí)模型來區(qū)分運(yùn)動(dòng)偽影和真實(shí)信號(hào) 。通過在包含手勢(shì)信號(hào)和運(yùn)動(dòng)偽影的復(fù)合數(shù)據(jù)集上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（CNN ， Convolutional Neural Network）提取穩(wěn)健信號(hào) ，同時(shí)采用基于參數(shù)的遷移學(xué)習(xí)提高網(wǎng)絡(luò)在不同用戶間的泛化能力。

圖丨抗運(yùn)動(dòng)噪聲的人機(jī)界面概述（來源：Nature Sensors）

與傳統(tǒng)的靜態(tài)手勢(shì)識(shí)別相比，該研究的創(chuàng)新之處在于：用更復(fù)雜、更多樣的數(shù)據(jù)去訓(xùn)練模型來提升其性能。具體而言，在訓(xùn)練 AI 模型時(shí)加入各種噪聲，讓 AI 既學(xué)習(xí)單獨(dú)的信號(hào) ，也學(xué)習(xí)帶有運(yùn)動(dòng)偽影的信號(hào) ，以增強(qiáng)模型應(yīng)用場(chǎng)景的廣泛性。

研究人員對(duì)比了全連接神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及基于 LeNet-5 架構(gòu)的 CNN 。結(jié)果顯示， CNN 在召回率、精確度、F1 分?jǐn)?shù)和特異性方面均表現(xiàn)最優(yōu) ，各項(xiàng)指標(biāo)均超過 0.92 。

該可穿戴設(shè)備采用了緊湊的多層架構(gòu) ，尺寸僅為 1.8 cm × 4.5 cm2 ，厚度為 2 mm 。這套控制系統(tǒng)由器件、機(jī)器人和 AI 三大模塊組成。器件方面集成了慣性儀、肌電信號(hào)傳感器兩種傳感器，以及藍(lán)牙微控制器和柔性可拉伸電池。

（來源：課題組）

該研究另一個(gè)創(chuàng)新之處在于，研究團(tuán)隊(duì)與 Joseph Wang 實(shí)驗(yàn)室合作，引入了后者開發(fā)的高性能柔性鋅-氧化銀電池來為設(shè)備提供電力。盡管現(xiàn)有的柔性器件本身可拉伸，但它們通常會(huì)用一個(gè)體積較大的電池來供電，或配備一些無線傳輸、無線充電模塊。

采用柔性電池的優(yōu)勢(shì)在于，與器件同等尺寸且整個(gè)器件是完全集成的，并且研究團(tuán)隊(duì)有一整套制備工藝讓器件和電池都能夠從硬態(tài)變?yōu)榫哂?20% 可拉伸性的狀態(tài) ，能夠舒適貼附于用戶前臂，并能持續(xù)供電 4 小時(shí)以上。此外，設(shè)備的藍(lán)牙信號(hào)強(qiáng)度在 20 m 范圍內(nèi)保持穩(wěn)定，即使在彎曲和拉伸狀態(tài)下，電池容量也能維持在約 25 mAh 。

陳相君解釋說道：“這個(gè)電池負(fù)責(zé)給整個(gè)系統(tǒng)供電，系統(tǒng)則將肌電信號(hào)和慣性信號(hào)全部傳輸?shù)诫娔X上。實(shí)際上， AI 的處理過程都是在電腦這個(gè)‘中轉(zhuǎn)站’完成的。它處理信號(hào)后，再將信號(hào)傳遞給機(jī)械臂，告訴機(jī)械臂要做什么動(dòng)作。 ”

突破邊界：跨場(chǎng)景、跨環(huán)境的極限驗(yàn)證

一個(gè)不容忽視的普遍性問題是：AI 模型在訓(xùn)練時(shí)不能只在某個(gè)個(gè)體上訓(xùn)練，其容易引起對(duì)新個(gè)體不適配的問題。

為解決該問題，研究人員采用了遷移學(xué)習(xí)策略。他們首先在五位用戶的數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。 “這樣，新用戶只需要提供少量數(shù)據(jù) ，模型就能快速適配并運(yùn)行，而不需要像第一位用戶那樣采集大量數(shù)據(jù) 。 ”陳相君進(jìn)一步說道。

具體而言，新用戶只需要采集每個(gè)手勢(shì)的兩個(gè)樣本（臥姿和坐姿），模型就能識(shí)別，并且最低識(shí)別準(zhǔn)確率從 51% 顯著提升至 92% 以上，數(shù)據(jù)采集時(shí)間也從約 2 分鐘縮短至 6 秒。

圖丨實(shí)時(shí)機(jī)械臂控制與運(yùn)動(dòng)偽影（來源：Nature Sensors）

根據(jù)論文，盡管系統(tǒng)存在約 1.3 秒的響應(yīng)延遲，但由于連續(xù)識(shí)別機(jī)制，機(jī)械臂能夠流暢執(zhí)行一系列復(fù)雜任務(wù) ，如在用戶跑步、高頻振動(dòng)或躺臥狀態(tài)下，精確地將液體從試劑瓶轉(zhuǎn)移至燒杯。

值得關(guān)注的是，研究團(tuán)隊(duì)還特別探索了該系統(tǒng)在水下環(huán)境的應(yīng)用潛力，通過在斯克里普斯海洋-大氣研究模擬器中模擬了不同波長與波高的海浪（包括近海和深海），并在離線測(cè)試中實(shí)現(xiàn)了較為理想的指令識(shí)別準(zhǔn)確率。

陳相君指出，這臺(tái)大型造浪機(jī)解決了驗(yàn)證器件性能，并基于此證明了該器件可以在海浪巨大的噪聲下工作。 “未來，我們還將嘗試在真實(shí)海浪環(huán)境下讓潛水員用該器件完成營救或偵察等任務(wù) 。 ”

成長之路：從工作者到項(xiàng)目負(fù)責(zé)人的蛻變

陳相君本科畢業(yè)于北京航空航天大學(xué) ，最初就讀于機(jī)械專業(yè) ，大二時(shí)轉(zhuǎn)到材料學(xué)院郭林院士團(tuán)隊(duì)進(jìn)行二維材料合成方向的探索。之后，他來到 UCSD 徐升教授課題組攻讀博士學(xué)位，目前他在該課題組進(jìn)行博士后研究。

徐升課題組的研究方向聚焦于柔性電子、光電器件、可穿戴光聲和超聲技術(shù) 。最初陳相君的研究方向是材料表征，后來“陰差陽錯(cuò)”地進(jìn)入到柔性器件，現(xiàn)在他的研究項(xiàng)目更多的是應(yīng)用為導(dǎo)向的各種傳感器集成，并有很多產(chǎn)學(xué)研結(jié)合的實(shí)驗(yàn)課題。

實(shí)際上，柔性電子是一個(gè)相當(dāng)學(xué)科交叉的方向，這時(shí)陳相君的材料學(xué)基礎(chǔ)就派上了“用武之地” 。他至今仍記得在北航讀書時(shí)王華明院士課上曾說過：“學(xué)材料的人不需要什么都會(huì) ，但需要什么都懂一點(diǎn) 。 ”正是材料學(xué)的背景讓他對(duì)每個(gè)方向、每個(gè)小模塊都有大致的了解。所以，在統(tǒng)籌小團(tuán)隊(duì)完成項(xiàng)目時(shí)會(huì)顯得比較得心應(yīng)手，這也為項(xiàng)目的高效推進(jìn)提供了保障。

圖丨陳相君展示將該系統(tǒng)佩戴在手臂帶上（來源：課題組）

談及在課題組工作期間最大的收獲，陳相君表示，在徐升老師的指導(dǎo)下，他學(xué)會(huì)了從一名普通的研究人員成長為項(xiàng)目負(fù)責(zé)人。據(jù)介紹，他在最初做研究時(shí)達(dá)標(biāo)的標(biāo)準(zhǔn)是制備出能工作的器件，但導(dǎo)師會(huì)不斷激勵(lì)他去實(shí)現(xiàn)更高的目標(biāo) 。

“徐老師經(jīng)常對(duì)我說如果想做高質(zhì)量的科研，就不能滿足于現(xiàn)有的性能，而是要不斷突破極限，這讓我受益匪淺。一路走來，在這種高要求的不斷打磨下，科研水平和成果都提升了一個(gè)層級(jí) 。 ”他說。

圖丨抗噪聲的人機(jī)界面在海浪中的應(yīng)用（來源：Nature Sensors）

柔性器件的應(yīng)用場(chǎng)景非常廣泛，尤其是人機(jī)交互方面。據(jù)了解，該實(shí)驗(yàn)室目前已能夠小規(guī)模生成柔性器件，并正在與工業(yè)界合作開展相關(guān)合作項(xiàng)目。

在后續(xù)的研究階段中，研究團(tuán)隊(duì)計(jì)劃進(jìn)一步將動(dòng)作的響應(yīng)時(shí)間縮短。據(jù)團(tuán)隊(duì)推測(cè) ，如果能把動(dòng)作時(shí)間縮短到 0.2 秒，識(shí)別時(shí)間則可能在 0.5 秒左右。

另外需要指出的是，現(xiàn)有流程是佩戴器件后將信號(hào)傳輸?shù)诫娔X ，再由電腦控制機(jī)械臂，這會(huì)增加一些不必要的傳輸環(huán)節(jié) 。研究人員希望未來可穿戴設(shè)備能夠去除中轉(zhuǎn)環(huán)節(jié) ，直接與機(jī)器人交互。基于此，他們計(jì)劃進(jìn)一步升級(jí)硬件，探索將 AI 模型直接集成到可穿戴設(shè)備，讓設(shè)備本身具備計(jì)算能力或?qū)⑵渑c目標(biāo)機(jī)械臂直接結(jié)合。

盡管這項(xiàng)研究只是一個(gè)起點(diǎn) ，但它向我們展示：從靜態(tài)環(huán)境走向真實(shí)動(dòng)態(tài)場(chǎng)景的手勢(shì)控制，正成為可穿戴科技的新戰(zhàn)場(chǎng) 。未來，當(dāng)你奔跑、游泳、爬山時(shí) ，或許一塊可穿戴的貼片就能讓你與機(jī)器人無縫協(xié)作。

參考資料：
1.Chen X. Lou Z. Gao X. et al. A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors. Nat. Sens. (2025). https://doi.org/10.1038/s44460-025-00001-3

【告別靜態(tài)操控：新型AI可穿戴貼片，可在運(yùn)動(dòng)中識(shí)別手勢(shì)控制機(jī)械臂】運(yùn)營/排版：何晨龍

告別靜態(tài)操控：新型AI可穿戴貼片，可在運(yùn)動(dòng)中識(shí)別手勢(shì)控制機(jī)械臂

推薦閱讀

錦帶花開花季節(jié) 錦帶花什么時(shí)候開花

扇貝肉要去掉哪些東西，扇貝肉要去掉哪些東西不能吃

家庭自釀葡萄酒的方法及注意事項(xiàng)

地址+電話+上班時(shí)間新密市公積金辦事大廳

關(guān)于鄭板橋的資料

肇事逃逸抓到怎么處罰

平安樹夏天怎么澆水

雞蛋是高膽固醇食物嗎

多肉怎么養(yǎng)成老樁多頭多肉怎么養(yǎng)成老樁多頭的樣子

喝牛奶會(huì)讓孩子更高嗎

家用車輪胎怎么選？什么輪胎質(zhì)量好性價(jià)比高？

BT磁力搜索引擎萬能磁力搜索引擎使用方法

泰迪犬一般多少錢一支,受歡迎的泰迪犬

荷花魚寓意是什么意思

比熊狗狗拉稀吃什么,泰迪幼犬拉稀吃什么藥

誰知道北戴河和山海關(guān)哪個(gè)好