1. 首頁 > 生活百科 > >

清華朱軍團隊：多模態擴散模型實現心血管信號實時全面監測

清華大學

清華朱軍團隊：多模態擴散模型實現心血管信號實時全面監測

文章圖片

清華朱軍團隊：多模態擴散模型實現心血管信號實時全面監測

文章圖片

清華朱軍團隊：多模態擴散模型實現心血管信號實時全面監測

文章圖片

清華朱軍團隊：多模態擴散模型實現心血管信號實時全面監測

文章圖片




可穿戴健康監測信號由于監測難度高、觀測噪聲大、易受干擾 ， 高質量的心血管信號仍難以長期便捷獲取 ， 這是智能健康監測系統始終面臨的現實困境 。 近日 ， 清華朱軍等團隊提出了一種統一的多模態生成框架 UniCardio ， 在單擴散模型中同時實現了心血管信號的去噪、插補與跨模態生成 ， 為真實場景下的人工智能輔助醫療提供了一種新的解決思路 。 相關工作《Versatile Cardiovascular Signal Generation with a Unified Diffusion Transformer》于 2025 年 12 月 29 日在 Nature Machine Intelligence 正式上線 。

心血管疾病是人類致死的主要病因之一 。 對個體而言 ， 光電容積描記信號（photoplethysmography ， PPG）、心電信號（electrocardiography ， ECG）以及血壓信號（blood pressure ， BP）能夠從不同側面反映同一底層生理過程：PPG 記錄皮下微血管容積變化 ， 便于通過可穿戴設備進行連續采集；ECG 反映心肌電活動 ， 但通常需要更嚴格的電極放置與專業標定；動脈 BP 則常被視為更接近臨床 “金標準” 的血壓信息來源 ， 卻往往依賴侵入式或更高負擔的采集方式 。

現實監測因此呈現出明顯的 “兩難”：可穿戴信號獲取便捷 ， 卻更易受到噪聲、運動偽影與信號中斷的影響；而高質量或更關鍵的信號采集 ， 則可能帶來不適、風險與成本 ， 難以長期連續部署 。

過去的研究往往將這一問題拆解為若干 “單點任務”：有的方法專注于信號去噪 ， 有的方法聚焦缺失片段補全 ， 即從 “低質量” 信號重建 “高質量” 信號 。 還有的方法研究信號模態轉換 ， 即從 “易測量” 信號預測 “難測量” 信號 。 這些方法已在各自任務上取得了進展 ， 但一個顯著的局限在于：多數模型仍然是任務特定、模態特定 ， 難以在同一個模型中同時覆蓋多任務、多模態、多條件建模 ， 也難以充分利用心血管信號之間天然存在的相關性與互補性 。



論文鏈接：https://www.nature.com/articles/s42256-025-01147-y 代碼鏈接：https://github.com/thu-ml/UniCardio
在此背景下 ， 清華朱軍等團隊提出了 UniCardio ， 旨在在一個以統一生成框架同時完成兩大類核心能力：其一是信號恢復（signal restoration） ， 包括對低質量信號的去噪以及對間斷記錄信號的缺失片段插補；其二是模態轉換（modality translation） ， 即在給定某些可獲得信號的條件下 ， 合成難以獲取或未被記錄的目標信號 ， 從而為真實場景中的心血管監測與分析提供更完整的信號視角 。


UniCardio 實現心血管生理信號的實時全面監測

方法介紹

從方法角度 ， UniCardio 的關鍵并不在于構建一個簡單的 “點到點映射器” ， 而在于將多模態心血管信號視為同一生理系統的不同觀測 ， 進而學習它們之間的多模態條件分布關系 。

UniCardio 采用擴散模型 “從噪聲到數據” 的生成范式：在前向過程中 ， 對不同模態采用統一的噪聲化機制；在反向過程中 ， 在條件信息的引導下逐步重建目標信號 ， 從而在同一生成框架中覆蓋多種輸入 — 輸出配置 。 在此基礎上 ， UniCardio 使用 Transformer 架構來建模時間維度與模態維度上的依賴關系 。

為了同時處理多模態、多任務 ， UniCardio 為每個模態配置了模態專用的編碼器與解碼器 ， 以提取和還原具有生理意義的波形特征；另一方面 ， 在 Transformer 的注意力計算中引入任務特定注意力掩碼 ， 用于顯式約束信息流 ， 只允許與當前任務相關的條件模態到目標模態的交互 ， 從而減少無關模態或無關方向的信息干擾 ， 使不同任務能夠在同一網絡中被穩定表達與聯合學習 。


UniCardio 的多模態生成模型架構

另一個不可回避的實際困難在于：隨著模態數量的增加 ， 可用的條件組合會迅速增長 。 如果在訓練階段簡單地將所有任務 “混在一起學習” ， 往往會導致樣本分配不足與任務權重失衡 。

針對這一問題 ， UniCardio 引入了一種面向生成任務的持續學習（continual learning）范式：以 “條件模態數逐步增加” 的方式分階段納入不同任務 ， 以分配足量的訓練樣本和平衡不同階段任務的貢獻；并結合學習率調度、訓練批次組成以及注意力掩碼的結構性約束 ， 以緩解持續學習的災難性遺忘問題 。 其目標是讓一個統一模型在面對不斷擴展的模態組合與任務配置時 ， 依然能夠保持穩健而一致的綜合能力 ， 而不是學會新任務就忘了舊任務 。

【清華朱軍團隊：多模態擴散模型實現心血管信號實時全面監測】這種范式還帶來了跨任務 - 模態組合的知識遷移效應：在僅涉及較少模態的生成任務上進行訓練 ， 能夠有效促進模型在涉及更多模態、條件更復雜的生成任務中的表現 。


UniCardio 的持續學習訓練范式

實驗及結果

在實驗結果上 ， UniCardio 在信號去噪、插補與跨模態轉換等多模態、多功能任務中 ， 相較于多種任務特定基線方法展現出穩定而一致的優勢 ， 并系統性地體現了多模態互補信息的價值 。

論文在多項代表性任務中表明：在僅使用單一條件模態時 ， UniCardio 已能達到或超越相應的任務特定方法相當 。 而在進一步引入額外條件模態后 ， 生成誤差可顯著降低 ， 波形恢復的穩定性也隨之提升 。 例如 ， 在 PPG 與 ECG 插補任務中 ， 引入多模態條件后 ， 生成誤差下降至原來的三分之一量級；在 PPG→ECG 等跨模態生成任務中 ， UniCardio 在參數規模遠小于部分生成基線的情況下 ， 依然取得了更優或更穩健的結果 。

這些現象表明 ， 統一建模多模態條件分布本身即可帶來跨任務的知識遷移收益 ， 而無需為每一種模態組合單獨設計模型 。


UniCardio 的多模態、多功能生成結果

更進一步 ， 論文將生成信號直接用于下游心血管相關應用進行驗證 ， 包括異常狀態檢測與生命體征估計 。

在多個未見域數據集上 ， 基于 UniCardio 生成信號得到的下游任務性能 ， 能夠顯著優于直接使用噪聲或間斷信號 ， 并在多數情況下接近使用真實信號的結果 。 例如 ， 在心電異常檢測任務中 ， 由 UniCardio 去噪或插補得到的 ECG 信號能夠有效恢復關鍵診斷信息 ， 使檢測準確率與特異性大幅提升 ， 逼近真實 ECG 信號的表現；在心率與血壓估計任務中 ， 基于生成信號的預測誤差也顯著低于僅使用可穿戴信號或簡單統計基線的情況 。

這些結果表明 ， UniCardio 生成的信號不僅在數值上 “更像” ， 而且在功能層面具備直接支撐下游分析的可用性 。


異常狀態檢測與生命體征估計結果

在可解釋性方面 ， 這項工作也給出了相對臨床友好的論證路徑 。 生成結果不僅追求誤差數值的降低 ， 還盡可能保留可被臨床專家識別的診斷特征 。 論文通過可視化展示多類典型 ECG 異常形態在生成信號中的復現情況 ， 并結合臨床評估驗證其診斷特征的一致性 ， 表明生成信號在形態層面能夠與真實生理信號保持良好對齊 。 只有當生成結果能夠被專家識別、理解并用于判斷 ， 模型才有可能被謹慎地納入真實醫療工作流 。

此外 ， 論文還指出 ， 擴散模型逐步去噪的生成過程本身提供了可觀察的中間狀態 ， 有助于人類專家理解信號的生成演化過程 ， 從而進一步增強模型的可解釋性與可信度 。


典型 ECG 異常的可視化結果

總體而言 ， UniCardio 將心血管信號生成從以往的單任務、單模態組合 ， 推進到了一個更加統一且具備可擴展性的框架：通過多模態擴散 Transformer 在同一模型中覆蓋信號恢復與模態轉換 ， 并借助持續學習機制來容納不斷增長的條件組合復雜度 。 從應用前景看 ， 這類統一的多模態生理信號生成范式不僅有望服務于醫療健康領域中的穩健監測與輔助診斷 ， 也可能進一步拓展到腦科學、心理學與認知科學等同樣依賴多源生理信號的研究場景 。

作者介紹

清華大學的朱軍教授和王立元助理教授為本論文的共同通訊作者 ， 陳澤華博士、苗雨陽博士和王立元助理教授為本論文的共同第一作者 ， 首都醫科大學附屬北京安貞醫院的范瀘韻博士和英國帝國理工學院的 Danilo P. Mandic 教授為本論文的共同作者 。

    推薦閱讀