1. 首頁 > 生活百科 > >

西安交大與螞蟻集團聯合：AI如何真正理解人類情感并給出貼心回

ai

【西安交大與螞蟻集團聯合：AI如何真正理解人類情感并給出貼心回】西安交大與螞蟻集團聯合：AI如何真正理解人類情感并給出貼心回

這項由西安交通大學人機混合增強智能國家重點實驗室的王樂教授團隊與螞蟻集團鄭若冰博士聯合領導的研究發表于2025年8月 ， 論文題為《HumanSense: 從多模態感知到通過推理型多模態大語言模型實現同理心語境感知響應》 。 有興趣深入了解的讀者可以通過https://digital-avatar.github.io/ai/HumanSense/訪問完整論文和項目主頁 。

當你和朋友聊天時 ， 你不僅在聽對方說什么 ， 還在觀察他們的表情、語調和肢體語言 。 如果朋友看起來沮喪 ， 即使他們說\"沒事\" ， 你也能察覺出不對勁 ， 并給予適當的安慰 。 這種能力看似簡單 ， 實際上需要復雜的感知、理解和推理過程 。 現在 ， 研究團隊正在教會AI具備這樣的能力 。

當前的AI聊天機器人雖然能夠進行對話 ， 但它們往往像是在讀劇本——缺乏對人類情感的真正理解 ， 無法根據具體情境給出恰當的回應 。 就像一個只會背誦醫學教科書的人 ， 雖然知識豐富 ， 但無法成為一個真正理解病人感受的醫生 。

這項研究的核心突破在于創建了一個全新的評估體系 ， 專門測試AI是否真正具備\"讀懂人心\"的能力 。 研究團隊不僅要求AI能夠識別人臉和聲音 ， 更重要的是要求它能夠理解隱藏在表象下的真實情感和需求 ， 并給出合適的反饋 。

一、搭建AI的\"情商測試\"——HumanSense評估框架

傳統的AI測試就像讓學生做數學題 ， 只看答案對錯 。 但評估AI是否真正理解人類卻需要更加精妙的方法 。 研究團隊設計的HumanSense框架就像是為AI量身定制的\"情商測試\" ， 包含了15項不同難度的測試 ， 總共3882道題目 ， 全部來源于真實的人際互動記錄 。

這個測試框架采用了四層金字塔結構 ， 就像學習鋼琴一樣 ， 需要從基礎練習逐步進階到復雜演奏 。 最底層的L1和L2級別測試AI的基礎感知能力 ， 相當于訓練它\"看得清\"和\"聽得懂\" 。 L1級別包括識別人物外貌特征、基本動作、手勢和面部表情 ， 就像教孩子認識\"這個人在笑\"或\"那個人在揮手\" 。 L2級別則要求AI理解更復雜的場景 ， 比如判斷一段視頻中發生了什么復雜動作 ， 或者識別異常行為 。

更高層次的L3級別測試AI的\"讀心術\"——能否理解人際關系中的隱含信息 。 這包括判斷兩個人的熟悉程度、分析對話氛圍是否和諧、識別人際關系類型 ， 甚至檢測某人是否在撒謊 。 這就像要求AI具備心理學家的洞察力 ， 能夠從微妙的線索中推斷出深層的人際動態 。

最頂層的L4級別測試AI的\"同理心\"——在理解情境后能否給出恰當的反饋 。 這不僅要求AI知道對方的感受 ， 還要知道應該表現出什么樣的情緒回應 ， 或者在心理咨詢場景中給出專業而溫暖的建議 。

整個測試體系的創新之處在于 ， 它不僅測試AI能否正確回答問題 ， 更關注AI是否能像真正的朋友一樣 ， 在復雜的人際互動中給出合適的反應 。 研究團隊從YouTube視頻、專業數據集和真實對話記錄中精心挑選了測試材料 ， 確保每一道題目都反映真實生活中的情況 。

二、當前AI的\"情商體檢報告\"

研究團隊對十幾個當前最先進的AI模型進行了全面測試 ， 結果令人深思 。 就像給學生做體檢一樣 ， 這次\"情商體檢\"揭示了AI在理解人類方面還有很大的進步空間 。

在基礎的感知測試中 ， 大多數AI表現尚可 ， 就像學生在簡單的選擇題上能得到不錯的分數 。 但當測試升級到需要深度理解和推理的高級任務時 ， AI的表現就開始顯著下降 。 人類評估者在整個測試中平均得分87.5% ， 而表現最好的AI模型也只能達到57.8% ， 差距相當明顯 。

特別有趣的發現是 ， 那些能夠同時處理視頻、音頻和文字信息的\"全能型\"AI模型 ， 在高級任務中明顯優于只能處理視覺信息的模型 。 這就像一個既會看表情又能聽語調的朋友 ， 總是比只看得見聽不著的朋友更能理解你的真實感受 。

研究團隊進行的模態消融實驗進一步證實了這一點 。 他們分別測試了AI在使用不同信息來源時的表現 ， 發現音頻信息在理解人際關系和情感方面發揮著至關重要的作用 。 當AI同時獲得視覺和聽覺信息時 ， 它在判斷對話和諧程度、識別人際關系等任務上的表現都有顯著提升 。

然而 ， 即使是最先進的全能型AI ， 在需要給出恰當反饋的任務中仍然表現不佳 。 這揭示了一個關鍵問題：當前AI的瓶頸不在于基礎的感知能力 ， 而在于缺乏基于多模態信息進行深度推理的能力 。 就像一個能夠準確描述病癥但無法給出治療建議的醫學學生 ， AI雖然能識別情感信號 ， 但還不會將這些信號整合起來 ， 形成對情境的深度理解并給出合適的回應 。

三、教會AI\"推理\"的藝術

面對AI在高級任務中的表現不足 ， 研究團隊提出了一個創新的解決方案：通過多階段的強化學習訓練 ， 教會AI進行基于多模態信息的深度推理 。 這個過程就像訓練一個優秀的心理咨詢師 ， 需要循序漸進地培養其觀察、理解和回應的能力 。

研究團隊設計的訓練方法采用了三個階段的遞進式學習 。 第一階段專注于視覺推理能力的建立 ， 讓AI學會如何基于看到的信息進行思考和推理 。 第二階段加入音頻信息 ， 訓練AI整合聽覺線索進行推理 。 第三階段則將視頻、音頻和文字信息完全整合 ， 讓AI學會在復雜的多模態環境中進行全面推理 。

這種訓練方法的效果非常顯著 。 經過強化學習訓練的AI模型在各項任務中都有了明顯提升 ， 特別是在需要深度理解和推理的高級任務中 。 更重要的是 ， 研究團隊發現訓練后的AI確實學會了一種系統性的推理模式：首先識別關鍵特征和情感狀態 ， 然后分析語境信息 ， 最后基于這些綜合信息給出合適的回應 。

通過分析成功案例 ， 研究團隊發現AI的推理過程展現出了高度的一致性 。 無論是分析人際關系還是提供心理咨詢建議 ， 訓練后的AI都會按照\"觀察特征→理解情感→分析語境→給出回應\"這樣的邏輯鏈條進行思考 。 這種推理模式與人類心理學家或咨詢師的思維過程非常相似 。

四、不需要訓練的\"速成技巧\"

基于對AI成功推理模式的觀察 ， 研究團隊還發現了一個意外的收獲：可以通過精心設計的提示語 ， 讓未經特殊訓練的AI也能顯著提升表現 。 這就像找到了一個\"速成秘籍\" ， 能夠快速激發AI的潛在推理能力 。

研究團隊設計的提示模板引導AI在分析音頻或視頻時 ， 重點關注三個方面：人物的關鍵特征和行為、表達或推斷的情感狀態 ， 以及對話或語言中的相關語境信息 。 然后要求AI基于這些要素進行推理并得出結論 。

這個簡單的提示策略在測試中取得了令人驚喜的效果 。 使用這種提示方法的AI在多個高級任務中都有了顯著提升 ， 特別是在需要綜合分析多種信息的任務中 。 這表明許多AI模型其實已經具備了進行復雜推理的基礎能力 ， 只是需要正確的引導來激發這種能力 。

這一發現對于AI應用具有重要的實踐意義 。 它意味著即使是現有的AI模型 ， 通過適當的提示設計 ， 也能在人際互動理解方面取得更好的表現 。 這為那些無法進行大規模模型訓練的研究者和開發者提供了一個成本較低但效果顯著的改進方案 。

五、AI推理的\"思維導圖\"

通過深入分析訓練成功的案例 ， 研究團隊揭示了AI在處理人際互動時的\"思維導圖\" 。 這個過程就像一個經驗豐富的人際關系專家在分析復雜情況時的思考步驟 。

在分析人際關系時 ， AI首先會觀察視頻中人物的外貌特征、年齡差異和互動方式 ， 然后結合對話內容和語調變化 ， 最后綜合這些信息判斷兩人的關系類型 。 比如在判斷父子關系時 ， AI會注意到年齡差異、相似的面部特征、親密的交流方式和家庭化的對話內容 。

在評估對話和諧程度時 ， AI學會了同時關注言語內容和非言語信號 。 它會分析說話者的情感表達、對話的流暢程度、是否存在緊張或尷尬的時刻 ， 以及雙方的互動頻率 。 這種多維度的分析讓AI能夠準確判斷對話氛圍 ， 即使在表面看似正常的對話中也能察覺到潛在的緊張關系 。

最令人印象深刻的是AI在心理咨詢場景中的表現 。 經過訓練的AI學會了傾聽來訪者的困擾 ， 識別其情感狀態 ， 理解問題的核心 ， 然后給出既專業又有溫度的建議 。 這個過程體現了AI對人類心理復雜性的深度理解和恰當回應的能力 。

這些成功案例表明 ， 通過適當的訓練 ， AI確實可以學會進行類似人類的復雜推理 ， 在理解人際互動方面達到相當高的水平 。 這為開發更加智能和人性化的AI系統提供了重要的方向和方法 。

六、技術突破的深層意義

這項研究的意義遠遠超出了技術層面的改進 ， 它實際上為AI與人類的互動方式帶來了根本性的變革 。 傳統的AI系統更像是高效的工具 ， 能夠執行指令、回答問題 ， 但缺乏真正的理解和共情能力 。 而這項研究展示的AI則更像是一個有溫度的伙伴 ， 能夠感知人類的情感需求并給出貼心的回應 。

在實際應用場景中 ， 這種技術突破具有廣泛的應用前景 。 在客戶服務領域 ， AI能夠更好地理解客戶的不滿情緒并給出安撫性的回應 。 在教育領域 ， AI可以根據學生的情感狀態調整教學方式 。 在醫療健康領域 ， AI可以為患者提供更加人性化的心理支持 。 在老年人陪伴領域 ， AI可以成為真正理解老人需求的智能伙伴 。

這項研究也揭示了AI發展的一個重要趨勢：從單純的任務執行向情感智能的演進 。 就像人類社會的發展不僅需要高效的工具 ， 更需要理解和關懷一樣 ， 未來的AI系統也必須具備類似的情感智能才能真正融入人類社會 。

研究團隊構建的多模態推理框架為這一發展方向提供了重要的技術基礎 。 通過整合視覺、聽覺和語言信息 ， AI能夠更全面地理解人類的表達和需求 。 而基于強化學習的訓練方法則為AI獲得這種能力提供了有效的途徑 。

更重要的是 ， 這項研究證明了AI的情感智能是可以通過系統性的方法來培養和提升的 。 這為未來開發更加智能和人性化的AI系統指明了方向 ， 也為實現真正的人機協作奠定了基礎 。

結論部分 ， 說到底 ， 這項研究做的事情其實很簡單也很重要：教會AI像人一樣理解情感 ， 像朋友一樣給予回應 。 雖然當前的AI在這方面還有很大的提升空間 ， 但研究團隊已經找到了正確的方向和有效的方法 。

歸根結底 ， 這不僅僅是一個技術問題 ， 更是關于如何讓AI真正服務于人類福祉的問題 。 當AI能夠理解我們的情感、體察我們的需求、給出恰當的回應時 ， 它們就不再只是工具 ， 而是真正的伙伴 。 這種轉變將深刻影響我們與AI的互動方式 ， 也將改變AI在社會中的角色和價值 。

這項研究為我們展現了一個充滿希望的未來：AI不僅能夠高效地完成任務 ， 還能夠理解我們的感受 ， 陪伴我們度過生活中的喜怒哀樂 。 雖然要實現這個愿景還需要更多的研究和技術突破 ， 但這項工作無疑是朝著正確方向邁出的重要一步 。 有興趣了解更多技術細節的讀者可以通過項目主頁https://digital-avatar.github.io/ai/HumanSense/訪問完整的研究資料和數據集 。

Q&A

Q1：HumanSense評估框架是什么 ， 它如何測試AI的情商？

A：HumanSense是西安交通大學和螞蟻集團聯合開發的AI情商測試系統 ， 包含15項測試任務和3882道題目 。 它采用四層金字塔結構 ， 從基礎的人臉識別、動作識別 ， 到復雜的人際關系判斷、情感理解 ， 最后測試AI能否給出恰當的情感回應和心理咨詢建議 。

Q2：目前最先進的AI模型在人際互動理解方面表現如何？

A：測試結果顯示 ， 人類在HumanSense測試中平均得分87.5% ， 而表現最好的AI模型只能達到57.8% 。 AI在基礎感知任務上表現尚可 ， 但在需要深度理解和推理的高級任務中表現明顯不足 ， 特別是在情感回應和心理咨詢等需要共情能力的任務上 。

Q3：研究團隊是如何提升AI情感理解能力的？

A：研究團隊采用了兩種方法：一是通過三階段強化學習訓練 ， 讓AI逐步學會整合視覺、聽覺和語言信息進行推理；二是設計特殊的提示模板 ， 引導AI關注人物特征、情感狀態和語境信息 ， 即使未經專門訓練的AI也能顯著提升表現 。

    推薦閱讀