1. 首頁 > 生活百科 > >

零開銷，消除圖像幻覺，基于零空間投影挖掘正常樣本特征

自媒體人工智能ai阿里巴巴虎嗅

零開銷，消除圖像幻覺，基于零空間投影挖掘正常樣本特征

文章圖片

零開銷，消除圖像幻覺，基于零空間投影挖掘正常樣本特征

文章圖片

零開銷，消除圖像幻覺，基于零空間投影挖掘正常樣本特征

文章圖片

零開銷，消除圖像幻覺，基于零空間投影挖掘正常樣本特征

【導讀】當前大型視覺語言模型（LVLMs）存在物體幻覺問題 ， 即會生成圖像中不存在的物體描述 。 西安交通大學研究團隊提出了一種名為Nullu的方法 ， 通過提取「幻覺子空間」（HalluSpace）并進行零空間投影來編輯模型權重 ， 從而有效消除幻覺 ， 且不增加額外推理成本 。
當前大型視覺語言模型（LVLMs）普遍存在「物體幻覺」問題：模型會憑空生成圖像中不存在的物體描述 。
為了高效地實現幻覺消除 ， 西安交通大學研究團隊提出了一種利用「幻覺子空間」（HalluSpace）進行零空間投影的高效模型權重編輯方法Nullu（Nullspace of HalluSpace） 。

論文地址：https://arxiv.org/abs/2412.13817 代碼地址：https://github.com/Ziwei-Zheng/Nullu該方法的核心思路在于：從特征空間尋找到正常樣本表征與幻覺樣本特征的核心差異 。
為了實現這一目標 ， 研究人員在提取「真實描述+圖像」與「幻覺描述+圖像」的模型內部嵌入特征基礎上 ， 通過對二者嵌入特征的差進行主成分分析 ， 定位導致幻覺的關鍵子空間 ， 即HalluSpace
實驗發現 ， HalluSpace內包含了LVLM所基于的大語言模型（LLMs）過強的偏好先驗知識 ， 而這在以往研究中已被證明是產生幻覺的主要原因之一 。
因此 ， 通過正交化模型權重 ， 將輸入樣本的特征投影至HalluSpace的零空間 ， 可以有效去除這種偏好先驗 ， 從而抑制幻覺生成 。
Nullu實現簡單 ， 無需訓練 ， 便于部署 ， 且不引入額外推理開銷 ， 在多個幻覺消除任務上取得了出色的效果 ， 成果已發表于CVPR 2025
【零開銷，消除圖像幻覺，基于零空間投影挖掘正常樣本特征】
基于零空間投影的權重編輯Nullu的權重編輯過程主要分為三個步驟：1）真實-幻覺數據對構建；2）HalluSpace抽?。 ?）基于零空間投影的模型權重編輯 。

數據對構建對于任意「視覺-文本」結構的輸入數據 ， 研究人員將構建數據對來實現幻覺子空間的抽取 。 每個數據對具有相同的圖像和不同的文本信息：其中一個文本包含準確描述圖像中物體的真實描述 ， 作為負樣本；另一個包含幻覺描述 ， 作為正樣本 。
可以直接使用LURE[1
數據集作為數據對 ， 其中每一對樣本包含圖像及其對應的真實描述（Ground Truth ， GT）以及通過關鍵詞替換得到的幻覺描述（Hallucination Description ， HD） 。
LURE數據構建的流程如下：圖像從MSCOCO 2014數據集的訓練集中隨機選取5000 張圖像 ， 并獲取與對應的描述作為GT
在此基礎上 ， 替換GT中最易引發幻覺的對象 ， 如高頻對象等 ， 作為幻覺描述HD 。

HalluSpace抽取HalluSpace的抽取將主要在LVLM的語言模型部分的MLP層特征空間進行 ， 整體流程如圖所示 。
語言大模型部分由LLM構成 ， 各層包括一個自注意力層和一個MLP層 。 為抽取幻覺子空間HalluSpace ， 首先分別輸入具有真實響應和幻覺響應的正負樣本對 ， 在LLM部分的每層分別計算并存儲嵌入特征 ， 隨后在特征的長度維度上 ， 對每個樣本對應的特征求平均值 ， 將這些嵌入特征堆疊成正負樣本特征矩陣 ， 并求出差異矩陣 。
接著 ， 通過SVD分解對差異矩陣進行主成分分析 。
最后 ， 選取具有對應于前\uD835\uDC58個奇異值的右奇異向量 ， 即特征向量V的前\uD835\uDC58個列向量 。
這些方向代表了真實特征和幻覺特征之間的主要差異 ， 可以被視為模型特征空間中引發幻覺描述的方向 ， 即HalluSpace

基于零空間投影的模型權重編輯由于HalluSpace表示了真實數據和幻覺數據分布之間的主要差異方向 ， 因此可以通過將模型特征投影到幻覺空間的零空間來去除特征中的潛在幻覺信息 。
由于所有輸入共享HalluSpace ， 因此直接將模型權重向HalluSpace的零空間進行投影 ， 即可消除潛在幻覺風險 。
經過編輯的新模型參數 ， 可以直接重新加載到原始模型中 ， 因此在推理時 ， 不會引入任何額外計算開銷 。
如下圖所示 ， 當輸入內容的內部特征存在處于HalluSpace的分量時 ， 新的模型參數可以有效將該分量消除 ， 從而減少幻覺的發生 。

幻覺子空間的存在性與討論研究人員進一步利用實驗 ， 驗證了HalluSpace的存在性；同時 ， 論文通過解碼對HalluSpace內部所包含的信息進行了分析討論 ， 揭示了Nullu與現有方法的相互關系；進一步 ， 文章對Nullu的有效性進行了分析 ， 并揭示了其與直接偏好優化（DPO）的潛在關系 。

幻覺子空間的存在性分析假設HalluSpace存在 ， 在測試集上（非LURE數據集） ， 真實樣本和幻覺樣本計算得到的特征差異向量在HalluSpace應具有較大分量 。
為評估這一點 ， 研究人員在CHAIR測試上 ， 選擇了100個LLaVA-1.5發生幻覺的描述性問題作為測試對象 ， 計算每個樣本幻覺發生和沒有幻覺時嵌入特征的差異向量進行測試 。
此外 ， 實驗中還隨機選取了100個隨機向量作為比較基線 。
為了避免范數的影響 ， 研究人員進一步對所有的向量都進行了歸一化處理 。
圖中（a）展示了向量在歸一化球面上的分布示意圖 。
對于隨機向量 ， 其將隨意的分布在單位球內部 ， 因此在幻覺子空間的投影分量將會較低；而所計算的差向量如果成功捕獲了幻覺信息 ， 則在幻覺子空間的投影分量將會很高 。
因此研究人員進行了驗證性的計算 ， 結果顯示 ， 所計算差向量在幻覺子空間的投影分量比隨機對照組高出了10倍以上 。
這一證據表明 ， 幻覺子空間捕捉到了LVLM特征中和幻覺有關的特征方向 ， 從而證明了幻覺子空間的存在性 。

其他討論與分析論文中通過對HalluSpace內部所包含的信息進行解碼 ， 發現其內部包含了眾多語言模型的偏好先驗 。
因此 ， 將模型參數向HalluSpace的正交零空間投影實現了去除模型內部語言偏好的功能 ， 從而有效解決了物體幻覺問題 。 這一思路與現有的方法 ， 如VCD[2
具有類似性 。
另外 ， 文章進一步揭示了Nullu與直接偏好優化（DPO）的潛在關系 ， 進一步說明了方法的有效性 ， 這里不再贅述 。

實驗與分析研究人員將所提出方法部署于LLaVA-1.5、MiniGPT-4和mPLUG-Owl2 ， 并在多個數據集對Nullu的有效性進行了驗證：包括在CHAIR和POPE的幻覺性能驗證 ， 以及在MME和LLaVA-Bench的通用性能測試 。
通過下圖可以看出 ， 由于Nullu可以通過模型編輯直接修改模型參數 ， 因此在推理過程中 ， 不會引入任何額外的推理開銷 ， 實現了零開銷抑制物體幻覺 。
相比現有其他解碼增強方法 ， Nullu能以更快的速度 ， 實現更好的物體幻覺解決性能 。 且這一性能提升并非通過減少模型輸出長度來實現的 。
為直觀展示物體幻覺的緩解效果 ， 研究人員進一步展示了Nullu在LLaVA-Bench開放式生成任務數據集上的測試案例 。
如下圖中所示 ， 對于同一問題 ， 使用經過Nullu進行權重編輯的模型成功消除了原始模型輸出中存在的物體幻覺 。
研究人員還進行了在線測試來對Nullu的有效性進行檢測 。 在原始模型輸出物體幻覺詞「person」時 ， 改用經過編輯的權重進行推理后 ， 輸出變更為「mountain」 ， 進一步證明了所提出方法的有效性 。

結語研究人員提出了一種基于特征編輯的物體幻覺消除方法Nullu 。
Nullu針對模型各層的多層感知機部分進行幻覺空間識別 ， 通過提取真實特征與幻覺特征差異的低秩子空間 ， 并進一步對LVLM的權重進行正交化投影 ， 從而緩解物體幻覺問題 。
實驗結果表明 ， Nullu能夠在不增加額外推理成本的情況下顯著緩解物體幻覺 ， 這使得該方法相較于當前的解碼階段方法和后處理方法 ， 在推理速度上更具優勢 。
同時 ， 經該方法編輯后的模型在通用大型視覺語言模型基準測試中仍能保持良好性能 ， 證明其在提升真實性的同時 ， 并未損害模型的整體能力 。
理論分析表明 ， 該方法與直接偏好優化在權重更新方式上存在內在一致性 。 通過與先前研究的對比分析進一步發現 ， 該方法通過調整模型參數 ， 有效減少了大語言模型中的語言偏差 ， 而語言偏差已被證實是導致對象幻覺的關鍵因素之一 。

作者介紹論文作者來自西安交通大學人工智能安全實驗室（AI-SEC）團隊 ， 其中第一作者楊樂為西安交通大學特聘研究員 ， 共同第一作者為西安交通大學博士生鄭子維 ， 通訊作者為西安交通大學沈超教授 。
參考資料：
[1
Zhou Yiyang et al. \"Analyzing and mitigating object hallucination in large vision-language models.\" In ICLR 2024.
[2
Leng Sicong et al. \"Mitigating object hallucinations in large vision-language models through visual contrastive decoding.\" In CVPR 2024.

    推薦閱讀