1. 首頁 > 生活百科 > >

人機交互感知新篇章 北大團隊提出INP-CC模型重塑開放詞匯HOI檢測

英特爾

人機交互感知新篇章 北大團隊提出INP-CC模型重塑開放詞匯HOI檢測

文章圖片

人機交互感知新篇章 北大團隊提出INP-CC模型重塑開放詞匯HOI檢測

文章圖片

人機交互感知新篇章 北大團隊提出INP-CC模型重塑開放詞匯HOI檢測

文章圖片

人機交互感知新篇章 北大團隊提出INP-CC模型重塑開放詞匯HOI檢測

文章圖片




本文的第一作者為北京大學王選計算機研究所博士生雷廷 ， 通訊作者為博士生導師劉洋 。 團隊近年來在 TPAMI、CVPR、ICCV、ICML 等頂會上有多項代表性成果發表 ， 多次榮獲多模態感知和生成競賽冠軍 ， 和國內外知名高校、科研機構廣泛開展合作 。

目前的 HOI 檢測方法普遍依賴視覺語言模型（VLM） ， 但受限于圖像編碼器的表現 ， 難以有效捕捉細粒度的區域級交互信息 。 本文介紹了一種全新的開集人類-物體交互（HOI）檢測方法——交互感知提示與概念校準（INP-CC） 。

為了解決這些問題 ， INP-CC 提出了一種動態生成交互感知提示的策略 ， 并通過優化語言模型引導的概念校準 ， 提升了模型對開放世界中的交互關系理解 ， 本方法在 HICO-DET 和 SWIG-HOI 等主流數據集上取得了當前最佳性能 。



論文標題： Open-Vocabulary HOI Detection with Interaction-aware Prompt and Concept Calibration 論文鏈接：https://arxiv.org/pdf/2508.03207 代碼鏈接：https://github.com/ltttpku/INP-CC 項目主頁：https://sites.google.com/view/inp-cc/%E9%A6%96%E9%A1%B5
目前該研究已被 ICCV 2025 正式接收 ， 相關代碼與模型已全部開源 。

HOI 檢測進入「開放詞匯」時代
在我們的日常生活中 ， 人與物體之間的互動無處不在 。 然而 ， 目前大多數研究主要集中在封閉環境下的人物交互檢測 ， 這些方法通常無法識別新的交互類型 ， 因此在實際應用中受到限制 。

近年來 ， 多模態大模型得到了快速發展 ， 并在開放環境中展現出巨大的應用潛力 。 如何將這些模型應用于開放場景中的人物交互檢測 ， 已經成為一個備受關注的研究方向 。

傳統的 HOI（人體-物體交互）檢測方法通常依賴于固定類別的訓練數據 ， 難以應對現實中不斷變化的交互組合 。 盡管像 CLIP 這樣的視覺語言模型（VLM）為開放詞匯的建模提供了新機會 ， 但由于這些模型通常是基于圖像級別的預訓練 ， 它們在捕捉人物與物體之間細微的局部交互語義時存在困難 。 另外 ， 如何更有效地編碼交互的文本描述 ， 也限制了模型對復雜 HOI 關系的理解 。

為了解決這些問題 ， 研究團隊提出了 INP-CC 模型 ， 并在其中提出了兩項核心創新：交互感知式提示生成（Interaction-aware Prompting）和概念校準（Concept Calibration） 。

下圖 1 中 ， 展示了交互感知提示詞融合機制 。 該機制使得模型可以在具有相似語義或功能模式的交互之間 ， 選擇性地共享提示 。 例如 ， 「騎摩托車」和「騎馬」這兩種交互在人體和物體接觸動態上非常相似 ， 因此共享提示有助于更高效地學習這些交互的表示 。
【人機交互感知新篇章 北大團隊提出INP-CC模型重塑開放詞匯HOI檢測】
圖 2 則展示了現有基于 CLIP 的方法在處理細粒度、多樣化的交互類型時的局限性 。 例如 ， 圖中展示了「hurling」（猛擲）對應的視覺編碼（用三角形表示）和「pitching」（拋投）的文本編碼（用橙色圓圈表示） 。 可以看出 ， 如左圖所示 ， CLIP 模型的視覺編碼和文本編碼在這兩者之間過于接近 ， 導致模型難以區分它們 。 而與此對比 ， 如右圖所示 ， 我們的方法通過調整語義編碼空間 ， 幫助模型有效區分視覺上相似的概念 ， 從而更加高效地建模模態內和模態間的關系 。


圖 1 交互感知提示詞融合


圖 2 在 CLIP 原始空間（左側）和我們修正后的空間（右側）中模態內和模態間相似度 。

模型架構：從「看圖說話」到「聚焦交互」

圖 3 INP-CC 方法框架

INP-CC 模型首先通過一個交互適應式提示生成器（圖 3 灰色區域） ， 結合輸入圖片特性 ， 動態構造與場景相關的提示集合 。 這些提示被分為通用提示和可共享的交互提示 ， 使得像「抱貓」和「撫摸貓」這樣的相似動作可以共享同一個提示 ， 從而提升模型對局部區域的感知能力 。

在語言建模方面（圖 3 淺藍色區域） ， INP-CC 利用 GPT 生成各種交互的詳細視覺描述 ， 同時結合 T5 構建的 Instructor Embedding（指導嵌入）對交互語義進行嵌入和聚類 ， 從而形成一個更細粒度的概念結構空間 。 這種方式幫助模型更好地理解復雜的交互語義 ， 并將其映射到合適的語義空間中 。

此外 ， INP-CC 在訓練過程中引入了「困難負樣本采樣」策略 ， 這一策略使得模型能夠學會區分那些視覺上相似但語義不同的動作 ， 例如「猛擲」和「拋投」 。 這一方法有效提升了模型在細粒度交互類型上的識別能力 ， 幫助其更準確地理解和處理復雜的人物交互場景 。

交互感知提示生成（Interaction-aware Prompt Generation）

為了彌合圖像級預訓練和細粒度區域交互檢測之間的差距 ， INP-CC 提出了交互感知提示生成機制 ， 通過動態生成適應不同交互模式的提示 ， 指導視覺編碼器更好地聚焦于關鍵的交互區域 。 具體來說 ， 模型通過以下兩個核心組成部分來實現這一目標：

通用提示： 該提示捕獲所有交互類別共享的基本知識 ， 適用于所有交互類型 。
交互特定提示： 這些提示專門針對某些交互類型 ， 采用低秩分解技術高效編碼交互特征 ， 從而在不增加計算負擔的前提下增強模型的泛化能力 。
通過將這些交互提示與通用提示結合 ， INP-CC 能夠有效捕捉多種交互的共同特征 ， 并通過自適應選擇機制動態調整每張輸入圖像所需的提示 ， 優化交互區域的聚焦能力 。

交互概念校準（HOI Concept Calibration）

面對現有視覺-語言模型（VLM）在處理多樣交互概念時的局限性 ， INP-CC 進一步引入了交互概念校準機制 。 該機制通過結合大規模語言模型對視覺描述進行生成與校準 ， 提升了模型對語義細節的捕捉能力 。

內模關系建模（Intra-modal Relation Modeling）： INP-CC 首先為每種交互類型生成細粒度的視覺描述 ， 并利用 T5 語言模型將這些描述轉化為嵌入向量 。 通過這一過程 ， 模型能夠精確區分視覺上相似但語義不同的動作類別 。
負類別采樣（Negative Category Sampling）： 為了解決視覺上相似但概念上不同的動作難以區分的問題 ， INP-CC 引入了基于語義相似度的負樣本采樣策略 ， 在訓練過程中從視覺描述相似的類別中采樣負樣本 ， 幫助模型更好地分辨細粒度的動作差異 。
實驗表現：全面超越 SOTA
在 HICO-DET 和 SWIG-HOI 兩大開放詞匯 HOI 數據集上 ， INP-CC 在所有指標上均優于現有主流方法 。 其中 ， 在 SWIG-HOI 全量測試集上取得了 16.74% 的 mAP ， 相較前一方法 CMD-SE 相對提升了近 10% ， 在「閱讀」、「瀏覽」等細粒度交互中亦展現出較強的識別能力 。


圖 4 HICO-DET 實驗結果


圖 5 SWIG-HOI 實驗結果

此外 ， 可視化分析結果表明我們的模型表現出了強大的注意力集中能力 ， 能夠聚焦于關鍵的交互區域 ， 以下是幾個例子 。 例如 ， 在圖 6(a) 中 ， 它準確地突出了閱讀時的眼部區域 。 同樣 ， 在圖 6(b) 中 ， 模型強調了沖浪時人伸展的雙臂 。 此外 ， 我們的模型還能夠檢測到與相對較小物體的交互 ， 比如在圖 6(d) 中的相機和在圖 6(a) 中部分遮擋的書籍 。


圖 6 可視化結果

總結：VLM + LLM 的深度融合路徑
INP-CC 不僅打破了預訓練視覺語言模型（VLM）在區域感知與概念理解上的瓶頸 ， 還展現出將語言模型（LLM）知識引入計算機視覺任務的巨大潛力 。 通過構建「交互感知」與「語義修正」的雙重引導機制 ， INP-CC 精準引導了 CLIP 的感知能力 ， 為開放詞匯場景下的 HOI 檢測開辟了新路徑 。

    推薦閱讀