1. 首頁 > 云知道 > >

多模態,打破大模型的空中城堡

云知道打破

多模態交互指什么？

多模態,打破大模型的空中城堡


多模態人機交互指的是通過自然通信模式與虛擬和物理環境相互作用，這意味著多模態交互能夠實現更自由和自然的通信，將用戶與輸入和輸出中的自動化系統連接起來 。具體而言，多模態系統可以提供靈活、高效并且可用的一個環境，允許用戶通過語音、筆跡、手勢和注視等輸入模式進行交互，并通過輸出模態來接收系統的信息，例如語音合成、智能圖形和其他模式巧妙結合 。
【多模態,打破大模型的空中城堡】然后，多模態系統必須根據時間和上下文約束將不同模態的輸入結合起來，以便對其進行解釋，這個過程被稱為多模態融合，多模態融合是從九十年代到現在的幾項研究工作的目標，通過系統解釋熔合輸入 。自然和靈活性可以為每種不同的形式（渠道）及其同時使用產生一種以上的解釋，因此它們通常會由于不精確性、噪音或其他類似因素而產生多模態歧義 。
為了解決模糊性，已經提出了幾種方法 。最后，系統通過根據一致反饋（分裂）排列的各種模式通道（分解）返回用戶輸出 。移動設備，傳感器和網絡技術的普遍使用可以提供足夠的計算資源來管理多模式交互所隱含的復雜性 ?！笆褂迷苼砉芾砉蚕碛嬎阗Y源來管理多模式交互的復雜性是一個機會，事實上，云計算允許交付共享的可擴展，可配置的計算資源，這些資源可以動態地自動配置和發布” 。

    推薦閱讀